logo好方法网

日志处理方法及设备


技术摘要:
本发明提供一种日志处理方法及设备,应用于日志处理系统,日志处理系统包括日志对接设备和日志服务设备,方法包括:日志对接设备接收日志接入方发送的目标日志文件,并获取目标日志文件对应的日志解析配置信息;日志对接设备根据日志解析配置信息,将目标日志文件解析  全部
背景技术:
计算机、移动终端等设备,在运行过程中会产生大量的日志文件,比如系统日志、 应用程序日志及安全日志等。通过分析日志文件,相关人员能够了解到设备的运行情况,如 负荷、软硬件信息和安全性等,从而及时发现设备的异常情况,便于采取措施进行处理。 现有技术中,为了提高工作效率,通常将分散在多台设备上的日志文件汇总至日 志管理设备上,进行集中管理。由于集中管理的日志文件较多、数据量较大,在日志管理设 备上对日志文件进行查询,排序和统计等操作时,需要借助ElasticSearch(简称ES)和 Hadoop等日志服务来实现。由于每种日志服务对日志文件的格式具有不同的要求,所以,应 用日志服务对日志文件进行处理时,通常需要专门的服务对接人,按照日志服务要求的格 式,进行日志解析配置。 由于每种日志服务对日志文件的格式要求不同,且要求比较严格。而人为输入又 容易出错,会导致对日志格式表达的不够清楚、全面,继而导致日志解析失败,服务对接人 不得不多次重新配置。如此,使得日志文件接入日志服务的流程繁琐,日志解析效率低下, 人力成本较高。
技术实现要素:
本发明实施例提供了一种日志处理方法及设备。所述技术方案如下: 第一方面,提供了一种日志处理方法,应用于日志处理系统,所述日志处理系统包 括日志对接设备和日志服务设备,所述方法包括: 所述日志对接设备接收日志接入方发送的目标日志文件,并获取所述目标日志文 件对应的日志解析配置信息; 所述日志对接设备根据所述日志解析配置信息,将所述目标日志文件解析成多个 日志字段; 当接收到对于所述目标日志文件的日志服务请求时,所述日志对接设备获取所述 日志服务请求携带的日志服务配置信息; 所述日志对接设备向所述日志服务设备提供所述日志服务配置信息和所述日志 字段,以使所述日志服务设备实现所述目标日志文件的日志服务。 进一步地,所述日志对接设备根据所述日志解析配置信息,将所述目标日志文件 解析成多个日志字段的步骤,具体包括: 所述日志对接设备根据所述日志解析配置信息,识别所述目标日志文件的日志格 式; 所述日志对接设备基于所述日志格式和所述日志解析配置信息,将所述目标日志 文件拆解成N条日志记录,N大于等于1; 4 CN 111552674 A 说 明 书 2/10 页 所述日志对接设备依据所述日志记录切割成多个日志字段。 进一步地,所述日志解析配置信息包括字段切割配置信息; 所述日志对接设备依据所述日志记录切割成多个日志字段的步骤,具体包括: 所述日志对接设备判断所述字段切割配置信息是否包括嵌套切割命令; 若包括嵌套切割命令,所述日志对接设备保存执行过所述嵌套切割命令的上一级 切割命令产生的日志字段,并基于所述上一级切割命令产生的日志字段执行下一级切割命 令。 进一步地,所述日志对接设备根据所述日志解析配置信息,所述日志解析配置信 息包含所述目标日志的字段描述信息; 将所述目标日志文件解析成多个日志字段的步骤之后,还包括: 所述日志对接设备将所述日志解析配置信息中的所述日志字段的描述信息存入 字段特征库。 进一步地,所述日志对接设备获取所述目标日志文件对应的日志解析配置信息之 前,还包括: 所述日志对接设备接收所述日志接入方发送的日志配置请求,返回与所述日志配 置请求对应的字段切割配置界面; 所述日志对接设备通过所述字段切割配置界面接收用于切割所述目标日志文件 的字段切割配置信息。 进一步地,所述日志对接设备通过所述字段切割配置界面接收用于切割所述目标 日志文件的字段切割配置信息的步骤之后,还包括: 所述日志对接设备向所述日志接入方返回配置信息命名界面; 所述日志对接设备通过所述配置信息命名界面接收配置名称信息; 所述日志对接设备根据所述配置名称信息为所述日志解析配置信息命名,并基于 所述配置名称信息存储所述日志解析配置信息。 进一步地,所述日志对接设备根据所述日志解析配置信息,将所述目标日志文件 解析成多个日志字段的步骤之后,还包括: 所述日志对接设备向所述日志接入方返回日志字段命名界面; 所述日志对接设备通过所述日志字段命名界面接收字段命名配置信息; 所述日志对接设备根据所述字段命名配置信息为所述日志字段命名。 进一步地,所述字段命名配置信息包括字段选择信息和字段标识信息; 所述日志对接设备根据所述字段命名信息为所述日志字段命名,具体包括: 所述日志对接设备根据所述字段选择信息,从解析出的所有所述日志字段中选择 目标日志字段; 所述日志对接设备根据所述字段标识信息为所述目标日志字段命名。 进一步地,所述方法还包括: 所述日志对接设备向所述日志接入方提供日志保存配置界面; 所述日志对接设备通过所述日志保存配置界面接收日志保存配置信息; 所述日志对接设备按照所述日志保存配置信息缓存所述目标日志文件。 进一步地,所述日志服务配置信息包括日志服务类型和日志服务需求; 5 CN 111552674 A 说 明 书 3/10 页 所述日志对接设备根据所述日志服务配置信息和所述日志字段,以使所述日志服 务设备实现所述目标日志文件的日志服务的步骤,具体包括: 所述日志对接设备基于所述日志字段,创建符合所述日志服务类型格式要求的服 务数据库; 所述日志对接设备提供所述日志服务需求和所述服务数据库,以使所述日志服务 设备实现对所述目标日志文件的日志服务。 第二方面,提供了一种日志对接设备,所述设备包括:包括接收模块、解析模块及 对接模块,其中: 所述接收模块,用于接收日志接入方发送的目标日志文件,并获取所述目标日志 文件对应的日志解析配置信息; 所述解析模块,用于根据所述日志解析配置信息,将所述目标日志文件解析成多 个日志字段; 所述接收模块,还用于当接收到对于所述目标日志文件的日志服务请求时,获取 所述日志服务请求携带的日志服务配置信息; 所述对接模块,用于向所述日志服务设备提供所述日志服务配置信息和所述日志 字段,以使所述日志服务设备实现所述目标日志文件的日志服务。 第三方面,提供了一种日志处理系统,包括日志对接设备和日志服务设备,所述日 志对接设备和日志服务设备用于实现上述日志处理方法。 本发明提供的的日志处理方法,在日志接入方和日志服务设备之间设置日志对接 设备,日志对接设备接收日志接入方发送的目标日志文件和对应的日志解析配置信息,并 根据日志解析配置信息将目标日志文件解析成多个日志字段,然后将解析好的日志字段和 相应的日志服务配置信息提供给日志服务设备,以使日志服务设备基于解析好的日志字 段,按照日志服务配置信息实现目标日志文件的日志服务。所以,该日志处理方法可以使得 一份日志文件经解析之后,能够接入不同的日志服务设备,即日志文件经解析后具有通用 性;从而可以避免了一份日志文件要应用多个日志服务时,需要定义多种的日志解析方式 的情况,方便日志接入方的日志接入,提高了日志解析效率;且日志对接设备对日志文件进 行日志解析时,可以提供给日志接入方更多的日志格式选择,可以有效避免日志接入方额 外的日志调整工作,简化了日志文件接入日志服务的流程,提高了日志接入的效率。 附图说明 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于 本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他 的附图。 图1为本发明实施例提供的日志处理方法流程示意图; 图2为本发明实施例提供的日志对接设备的模块化结构示意图; 图3为本发明实施例提供的服务器的结构示意图。 6 CN 111552674 A 说 明 书 4/10 页
下载此资料需消耗2积分,
分享到:
收藏