技术摘要：
本申请实施例提供的分布式数据处理系统、方法，涉及数据处理技术领域，通过管理节点将基准编号发送给存储节点，存储节点按照基准编号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按照预设步长值，更新自身的节点  全部
背景技术：
目前，大数据应用系统已得到了普及，广泛应用于众多领域，产生了各种实时流式 大数据，例如城市交通管理、网络监控管理、金融交易管理、移动社交网络分析等。可以使用 对象存储系统保存海量的视频数据，考虑到存储空间等因素，每隔一定的存储周期需要将 之前的数据清理掉，释放存储空间，以便最新的数据可以成功保存。 现有技术中，分布式数据处理系统通过根据计算机系统时间统一各存储节点的时 间，管理节点向各存储节点下达删除指令，删除指定时间之前的数据，但是由于管理节点与 存储节点的时间可能不统一，会造成数据的误删，例如当前时间为10号，其中存储节点A时 间显示为5号，存储节点A记录数据的时间为5号，管理节点确定覆盖6号之前的数据，则存储 节点A根据管理节点下达的覆盖6号之前的数据，会将存储节点A存储的数据全部删除。
技术实现要素：
本申请实施例的目的在于提供分布式数据处理系统、分布式数据处理方法，以减 少存储节点中存储数据误删除的情况。 具体技术方案如下： 在本申请实施的第一方面，本申请实施例提供了一种分布式数据处理系统，所述 系统包括： 存储节点，管理节点； 所述管理节点用于将基准编号发送给所述存储节点； 所述存储节点用于在接收所述管理节点发送的所述基准编号后，按照所述基准编 号，设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存 储的数据块，然后按照预设步长值，更新自身的节点维护编号； 所述管理节点还用于确定覆盖编号，将所述覆盖编号发送给所述存储节点； 所述存储节点还用于接收所述管理节点发送的所述覆盖编号，根据所述覆盖编号 和已存储的数据块的存储编号，从已存储的数据块中删除指定数据块。 可选的，所述存储节点还用于按照预设频率，将所述节点维护编号发送给所述管 理节点； 所述管理节点用于根据所述节点维护编号更新所述基准编号，然后将所述更新后 的基准编号发送给所述存储节点，以使所述存储节点用于根据所述更新后的基准编号更新 所述节点维护编号。 可选的，所述管理节点具体用于： 从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。 4 CN 111580755 A 说　明　书 2/9 页 可选的，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将 所述基准编号发送给所述存储节点。 可选的，所述存储节点具体用于： 在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述 节点维护编号增加一个预设步长值。 在本申请实施的第二方面，本申请实施例提供了一种分布式数据处理方法，应用 于分布式数据处理系统，所述分布式数据处理系统包括存储节点，管理节点，所述方法包 括： 所述管理节点将基准编号发送给所述存储节点； 所述存储节点在接收所述管理节点发送的所述基准编号后，按照所述基准编号， 设置自身的节点维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储 的数据块，然后按照预设步长值，更新自身的节点维护编号； 所述管理节点确定覆盖编号，将所述覆盖编号发送给所述存储节点； 所述存储节点接收所述管理节点发送的所述覆盖编号，根据所述覆盖编号和已存 储的数据块的存储编号，从已存储的数据块中删除指定数据块。 可选的，所述方法还包括： 所述存储节点按照预设频率，将所述节点维护编号发送给所述管理节点； 所述管理节点根据所述节点维护编号更新所述基准编号，然后将所述更新后的基 准编号发送给所述存储节点，以使所述存储节点根据所述更新后的基准编号更新所述节点 维护编号。 可选的，所述管理节点根据所述节点维护编号更新所述基准编号，包括： 所述管理节点从各所述节点维护编号中，选取最大的节点维护编号作为更新后的 基准编号。 可选的，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将 所述基准编号发送给所述存储节点。 可选的，所述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数 据块，然后按照预设步长值，更新自身的节点维护编号，包括： 在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述 节点维护编号增加一个预设步长值。 在本申请实施的第三方面，本申请实施例提供了一种分布式数据处理方法，应用 于分布式数据处理系统中的存储节点，所述分布式数据处理系统还包括管理节点，所述方 法包括： 在接收所述管理节点发送的基准编号后，按照所述基准编号，设置自身的节点维 护编号； 在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按 照预设步长值，更新自身的节点维护编号； 接收所述管理节点发送的覆盖编号，根据所述覆盖编号和已存储的数据块的存储 编号，从已存储的数据块中删除指定数据块。 可选的，所述方法还包括： 5 CN 111580755 A 说　明　书 3/9 页 按照预设频率，将所述节点维护编号发送给所述管理节点，以使所述管理节点根 据所述节点维护编号更新所述基准编号，然后将所述更新后的基准编号发送给所述存储节 点； 接收所述管理节点发送的所述更新后的基准编号，根据所述更新后的基准编号更 新所述节点维护编号。 可选的，所述系统首次运行时，所述管理节点生成预设编号作为基准编号，然后将 所述基准编号发送给所述存储节点。 可选的，所述在存储当前数据块时，将当前的节点维护编号存储到当前存储的数 据块，然后按照预设步长值，更新自身的节点维护编号，包括： 在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，将所述 节点维护编号增加一个预设步长值。 在本申请实施的第四方面，本申请实施例提供了一种分布式数据处理方法，应用 于分布式数据处理系统中的管理节点，所述分布式数据处理系统还包括存储节点，所述方 法包括： 将基准编号发送给所述存储节点，以使所述存储节点在接收所述基准编号后，按 照所述基准编号，设置自身的节点维护编号，在存储当前数据块时，将当前的节点维护编号 存储到当前存储的数据块，然后按照预设步长值，更新自身的节点维护编号； 确定覆盖编号，将所述覆盖编号发送给所述存储节点，以使所述存储节点接收所 述覆盖编号，根据所述覆盖编号和已存储的数据块的存储编号，从已存储的数据块中删除 指定数据块。 可选的，所述方法还包括： 接收所述存储节点发送的节点维护编号，根据所述节点维护编号更新所述基准编 号； 将所述更新后的基准编号发送给所述存储节点，以使所述存储节点根据所述更新 后的基准编号更新所述节点维护编号。 可选的，所述接收所述存储节点发送的节点维护编号，根据所述节点维护编号更 新所述基准编号，包括： 接收所述存储节点发送的节点维护编号； 从各所述节点维护编号中，选取最大的节点维护编号作为更新后的基准编号。 可选的，所述系统首次运行时，生成预设编号作为基准编号，然后将所述基准编号 发送给所述存储节点。 本申请实施例提供的分布式数据处理系统、分布式数据处理方法，通过所述管理 节点将基准编号发送给所述存储节点，所述存储节点按照所述基准编号，设置自身的节点 维护编号；在存储当前数据块时，将当前的节点维护编号存储到当前存储的数据块，然后按 照预设步长值，更新自身的节点维护编号，所述管理节点用于确定覆盖编号，将所述覆盖编 号发送给所述存储节点，所述存储节点用根据所述覆盖编号和已存储的数据块的存储编 号，从已存储的数据块中删除指定数据块，存储数据块时，根据节点维护编号存储数据块， 然后根据编号对数据块进行删除，清理内存，不需要对存储节点校对时间，解决了现有技术 中因管理节点与存储节点时间不统一而造成的存储数据误删除的问题，减少存储节点中存 6 CN 111580755 A 说　明　书 4/9 页 储数据误删除的情况。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所 述的所有优点。 附图说明 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。 图1为本申请实施例的分布式数据处理系统的一种示意图； 图2为本申请实施例的分布式数据处理方法的第一种示意图； 图3为本申请实施例的分布式数据处理方法的第二种示意图； 图4为本申请实施例的分布式数据处理方法的第三种示意图。