logo好方法网

一种数据流处理方法及系统


技术摘要:
本发明实施例公开了一种数据流处理方法及系统,用于解决现有的数据流处理方法中各处理节点之间的互相通讯需要依赖中心化节点,使得部署较笨重且不便扩缩容的问题,该方法包括:各个处理节点获取自身的配置文件,所述配置文件包括拓扑参数;所述各个处理节点根据自身的  全部
背景技术:
随着互联网大数据的兴起,加速了大数据处理技术的发展。不同数据对处理技术 有不同的要求。流处理系统的数据为实时采集的数据,通过实时计算采集来的数据,计算完 成后迅速反馈给用户,已达到响应快、延迟低、可靠的目的。可见,流处理系统具有快速、高 效、容错率高等特性能,能够将数据信息准确无误的进行处理。在实际应用中,流处理系统 可以应用在火灾报警、燃气泄漏报警等场景。 常用的流处理框架有Storm分布式实时计算框架,该框架在大数据流式处理的各 种平台技术中以实时性好、高性能著称,兼备高可扩展性、稳定性和可靠性等特点受到业界 的广泛关注使用。Storm作为流数据处理引擎,采用轮询算法进行任务调度,基于内存进行 快速运算,能够保证每个消息都会得到处理,而且响应速度快,很适用于实时流处理。 但是,storm通过一个中心化节点实现各处理节点之间互相发现,即各处理节点之 间的互相通讯需要依赖中心化节点来实现。如storm的启动需要依赖zookeeper。因此, storm的部署较为笨重,且扩缩容较为不便。
技术实现要素:
本发明实施例提供一种数据流处理方法及系统,用于解决现有的数据流处理方法 中各处理节点之间的互相通讯需要依赖中心化节点,使得部署较笨重且不便扩缩容的问 题。 本发明实施例采用下述技术方案: 第一方面,提供了一种数据流处理方法,所述方法包括: 各个处理节点获取自身的配置文件,所述配置文件包括拓扑参数; 所述各个处理节点根据自身的拓扑参数,组建拓扑架构; 当任一处理节点接收到数据流时,该处理节点按照所述拓扑架构对所述数据流进 行业务处理,并输出处理结果信息。 第二方面,提供了一种数据流处理系统,所述系统包括:若干处理节点,每一个处 理节点包括获取模块、组建模块和业务处理模块,其中: 所述获取模块,用于获取所属处理节点的配置文件,所述配置文件包括拓扑参数; 所述组建模块,用于根据所属处理节点的拓扑参数,组建拓扑架构; 所述业务处理模块,用于当所属处理节点接收到数据流时,按照所述拓扑架构对 所述数据流进行业务处理,并输出处理结果信息。 第三方面,提供了一种数据流处理系统,包括:存储器,存储有计算机程序指令; 处理器,当所述计算机程序被所述处理器执行时实现如上述所述的数据流处理方 法。 4 CN 111597058 A 说 明 书 2/9 页 第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括指令, 当所述指令在计算机上运行时,使得计算机执行时实现如上述所述的数据流处理方法。 本发明实施例采用的上述至少一个技术方案能够达到以下有益效果: 本发明实施例通过各个处理节点根据自身的拓扑参数自发组建拓扑架构,每个处 理节点相互独立,只关心自身的拓扑参数,不关心其他处理节点的行为,组建拓扑架构不存 在中心化的处理节点,使得部署的框架较轻量化,便于扩缩容。 附图说明 此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申 请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中: 图1为本说明书的一个实施例提供的数据流处理方法流程示意图; 图2为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之 一; 图3为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之 二; 图4为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之 三; 图5为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之 四; 图6为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之 五; 图7为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之 六; 图8为本说明书的一个实施例提供的数据流处理系统结构示意图之一; 图9为本说明书一个实施例提供的数据流处理系统结构示意图之二。
下载此资料需消耗2积分,
分享到:
收藏