技术摘要：
本发明提出了一种海量工业数据的采集方法和采集系统，所述方法包括：采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；利用OPC‑UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；在所述工业数据采集过程  全部
背景技术：
工业网络是指安装在工业生产环境中的一种全数字化、双向、多站的通信系统，主 要分为专用封闭型工业网络、开放型工业网络和标准工业网络，工业网络系统是现在大型 企业或工厂在生产运营过程中不可缺少的办公及监控网络，网络技术的产生对工业控制来 说有以下优点：(1)安装布线方便；(2)模块化；(3)易于诊断；(4)自我建构；(5)企业化管理。 虽然工业控制网络有这些优点，但实际上，工业控制网络的在实际运行过程中，由于采集数 据过于繁多，常常出现数据传输错误和失败的问题。
技术实现要素：
本发明提供了一种海量工业数据的采集方法和采集系统，用以解决采集数据传输 错误率和失败率高的问题，所采取的方法如下： 一种海量工业数据的采集方法，所述采集方法包括： 采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化 数据； 利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数 据传输交互； 在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的 MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输； 在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数 据和音频数据的传输； 对采集到的数据进行数据清洗、数据编解码以及数据集成。 进一步地，所述利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和 图像数据的数据传输交互，包括： 接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采 集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取； 通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读 写操作； 存储具体Item的定义、数据值和状态值，生成OPC  Item类的对象； 存储由若干所述OPC  Item类的对象组成的Group信息，并返回所述OPC  Item模块 生成的OPC  Item类对象； 利用OPC启动服务器，获得除OPC  Group类对象以外的其他对象和服务的起始类， 并返回OPC  Group模块生成的OPC  Group类对象。 进一步地，所述在所述工业数据采集过程中，建立采集所述工业数据的传感器与 5 CN 111596628 A 说　明　书 2/10 页 服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输，包括： 指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中， Topic相当于数据类型，Payload相当于数据的内容； 接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块； 与会话进行关联；其中，每个所述传感器与所述MQTT服务器连接后视为一个会话， 用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每 个订阅都有一个不同的主题筛选器。 进一步地，在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数 据、图像数据和音频数据的传输，包括： 获得服务器提供的传输方式； 获取所述客户端与服务器所要建立的会话的描述信息； 在所述客户端与服务器之间建立会话，并确立数据传输模式； 所述控制客户端向服务器发起关闭会话的请求； 所述控制客户端向服务器发起播放相关数据内容的请求。 进一步地，所述获得服务器提供的传输方式，包括： 利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值，所述公式(1) 为； 其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数 量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最 小带宽； 根据服务器的所述能力最大值指定服务器； 利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值； 其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数 据传输量，k表示客户端传输的数据所包含的文件数； 对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结 合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方 式。 一种海量工业数据的采集系统，所述系统包括： 数据采集模块，用于采集数字数据、文档数据、视频数据、图像数据、音频数据、结 构化数据和半结构化数据； OPC-UA协议模块，用于利用OPC-UA协议建立所述结构化数据、半结构化数据、文本 数据和图像数据的数据传输交互； MQTT协议模块，用于在所述工业数据采集过程中，建立采集所述工业数据的传感 器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输； 6 CN 111596628 A 说　明　书 3/10 页 RTSP协议模块，用于在客户端与服务器之间建立基于文本的协议，并进行文本数 据、视频数据、图像数据和音频数据的传输； 数据预处理模块，用于对采集到的数据进行数据清洗、数据编解码以及数据集成。 其中，数据清洗是指将数据中混有的缺失数据、噪声数据等不符合标准的数据转 换为符合标准的数据；数据编解码用于降低数据维度；数据集成是指互相关联的分布式异 构数据源集成到一起，使用户能够以透明的方式访问这些数据源。 进一步地，所述OPC-UA协议模块包括： 接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采 集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取； 读写模块，用于通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图 像数据进行读写操作； OPC  Item模块，用于存储具体Item的定义、数据值和状态值，生成OPC  Item类的对 象； OPC  Group模块，用于存储由若干所述OPC  Item类的对象组成的Group信息，并返 回所述OPC  Item模块生成的OPC  Item类对象； OPC  Server模块，用于利用OPC启动服务器，获得除OPC  Group类对象以外的其他 对象和服务的起始类，并返回OPC  Group模块生成的OPC  Group类对象。 其中，OPC  Item是指与管理进行变量有关的对象，OPC  Group是指管理进程变量； OPC  Server是指OPC服务接口；OPC是指OLE  for  Process  Control，为了给工业控制系统应 用程序之间的通信建立的一个接口标准。 进一步地，所述MQTT协议模块包括： 信息传输模块，用于指定所述传感器将机器的指定信息以Topic和Payload的形式 传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容； MQTT服务器，用于接收所述传感器发送过来的数据，并将接收到的所述数据发送 至订阅模块； 订阅模块，用于与会话进行关联； 其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传 感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个 不同的主题筛选器。 进一步地，所述RTSP协议模块包括： 方法获取模块，用于获得服务器提供的传输方式； 信息获取模块，用于获取所述客户端与服务器所要建立的会话的描述信息； 请求建立模块，用于在所述客户端与服务器之间建立会话，并确立数据传输模式； 关闭请求模块，用于所述控制客户端向服务器发起关闭会话的请求； 播放请求模块，用于所述控制客户端向服务器发起播放相关数据内容的请求。 进一步地，所述方法获取模块包括： 能力获取模块，用于利用公式(1)计算服务器的在剩余能量中能够被调用的能力 最大值；，其中，公式(1)为： 7 CN 111596628 A 说　明　书 4/10 页 其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数 量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最 小带宽； 服务器分配模块，用于根据服务器的所述能力最大值指定服务器； 数据量获取模块，用于利用公式(2)对客户端将要传输的数据量进行计算，获得数 据传输量值； 其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数 据传输量，k表示客户端传输的数据所包含的文件数； 服务器方法确定模块，用于对所述客户端请求建立会话时所要传输的数据信息进 行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所 述服务器之间的传输方式。 本发明有益效果： 本发明提出的一种海量工业数据的采集方法和采集系统，极大程度上提高了数据 通信过程中的正确率和成功率，通过多种些协议方式有针对性的传输具体类别的数据，有 效提高了数据传输效率，防止因数据量大而导致传输效率低的情况发生。同时，通过对传输 的数据进行处理，能够有效还原失效或者带噪声的数据，提高数据传输质量。另一方面，根 据服务器的传输能力判断，指定服务器对相关数据进行传输，能够在服务器工作量处理能 力和数据传输中进行平衡，防止服务器瘫痪，影响数据传输质量和效率。 附图说明 图1为本发明所述方法的流程图； 图2为本发明所述系统的系统框图。