logo好方法网

一种结构化交易数据压缩方法、相关方法及相关装置


技术摘要:
本申请公开了一种结构化交易数据压缩方法,包括:将当前交易日内预设时刻的数据作为基准数据;根据当前交易日内的基准数据对当前交易日内各个时刻的交易数据进行差值计算,得到差值数据;采用ZigZag算法和Varint算法对所述差值数据进行编码处理,得到压缩结果;根据交  全部
背景技术:
随着信息技术的不断发展,各行各业会产生大量的数据。例如一直依赖技术驱动 的金融行业,最先进的信息技术往往在金融行业中被首先应用,在金融行业的日常业务中 会产生大量的数据。进一步的,如何高效的处理这些数据,并且安全可靠的存储这些数据是 现有技术需要进行考虑的。目前通常采用关系数据库对结构化的数据进行存储和检索。为 充分利用存储空间,提高数据存储的性能,通常需要将数据进行压缩。 现有技术中还采用不同的数据压缩协议对需要进行存储的证券数据进行压缩编 码。例如,采用ZIP压缩算法在压缩时以字节为单位进行处理,广泛适用于各类数据的压缩 需求。该算法使用(距离、长度)的形式替代局部冗余字节序列,并对距离、长度、原始字节的 频率特征进行统计,动态构造Huffman编码树对数据进行压缩,甚至对Huffman编码树进一 步应用Huffman编码等方式进行压缩存储。但是,由于类似金融行业的数据比较特殊,现有 的压缩方式无法保持较好的压缩效果和压缩解压过程的灵活性。例如,证券行情数据是增 量数据,每个交易日均产生一份新数据,数据量较大,甚至需要在接收行情的同时进行在线 压缩。并且,证券品种众多、行情数据量大,在对历史行情进行分析时需要并行处理。证券行 情是高度规范化的数据,原始数据自然支持并行处理。但是对于使用变长编码压缩的数据, 数据长度的信息已保存到编码后的数据中,解码过程必须串行进行,影响处理的效率。 因此,如何提高对数据进行压缩的效果是本领域技术人员关注的重点问题。
技术实现要素:
本申请的目的是提供一种结构化交易数据压缩方法、结构化交易数据解压方法、 结构化交易数据压缩装置、结构化交易数据解压装置、服务器以及计算机可读存储介质,通 过在压缩时将交易数据进行差值计算,再进行压缩,考虑了交易数据的结构化特征,提高了 交易数据的压缩效果。 为解决上述技术问题,本申请提供一种结构化交易数据压缩方法,包括: 将当前交易日内预设时刻的数据作为基准数据; 根据当前交易日内的基准数据对当前交易日内各个时刻的交易数据进行差值计 算,得到差值数据; 采用ZigZag算法和Varint算法对所述差值数据进行编码处理,得到压缩结果; 根据交易日时间对所述压缩结果添加交易日起始指针,得到压缩数据。 可选的,将当前交易日内预设时刻的数据作为基准数据,包括: 将所述交易数据中每个交易日预设时刻对应的数据进行整数化处理,得到多个整 4 CN 111597154 A 说 明 书 2/9 页 数化交易数据; 将所有整数化交易数据作为基准数据。 可选的,根据当前交易日内的基准数据对当前交易日内各个时刻的交易数据进行 差值计算,得到差值数据,包括: 将每个交易日的时间段内的交易数据进行整数化处理,得到待压缩数据; 根据每个交易日内的基准数据对对应的待压缩数据进行差值计算,得到所述差值 数据。 可选的,采用ZigZag算法和Varint算法对所述差值数据进行编码处理,得到压缩 结果,包括: 采用所述ZigZag算法将所述差值数据映射到无符号整数空间,得到初级编码结 果; 采用所述Varint算法对所述初级编码结果进行编码处理,得到所述压缩结果。 可选的,还包括: 根据每个交易日起始指针确定对应交易日在所述压缩数据中的起始位置; 根据所述起始位置对所述压缩数据进行并行处理和随机访问。 本申请还提供一种结构化交易数据解压方法,包括: 根据交易日起始指针从压缩数据中读取基准数据; 采用ZigZag算法和Varint算法对所述压缩结果进行解码处理,得到差值数据; 根据每个交易日对应的基准数据将所述差值数据恢复为交易数据。 本申请还提供一种结构化交易数据压缩装置,包括: 基准数据获取模块,用于将当前交易日内预设时刻的数据作为基准数据; 差值数据计算模块,用于根据当前交易日内的基准数据对当前交易日内各个时刻 的交易数据进行差值计算,得到差值数据; 编码处理模块,用于采用ZigZag算法和Varint算法对所述差值数据进行编码处 理,得到压缩结果; 交易日起始指针插入模块,用于根据交易日时间对所述压缩结果添加交易日起始 指针,得到压缩数据。 本申请还提供一种结构化交易数据解压装置,包括: 基准数据读取模块,用于根据交易日起始指针从压缩数据中读取基准数据; 压缩结果解码模块,用于采用ZigZag算法和Varint算法对所述压缩结果进行解码 处理,得到差值数据; 交易数据恢复模块,用于根据每个交易日对应的基准数据将所述差值数据恢复为 交易数据。 本申请还提供一种服务器,包括: 存储器,用于存储计算机程序; 处理器,用于执行所述计算机程序时实现如上所述的结构化交易数据压缩方法的 步骤和/或如上所述的结构化交易数据解压方法的步骤。 本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算 机程序,所述计算机程序被处理器执行时实现如上所述的结构化交易数据压缩方法的步骤 5 CN 111597154 A 说 明 书 3/9 页 和/或如上所述的结构化交易数据解压方法的步骤。 本申请所提供的一种结构化交易数据压缩方法,包括:将当前交易日内预设时刻 的数据作为基准数据;根据当前交易日内的基准数据对当前交易日内各个时刻的交易数据 进行差值计算,得到差值数据;采用ZigZag算法和Varint算法对所述差值数据进行编码处 理,得到压缩结果;根据交易日时间对所述压缩结果添加交易日起始指针,得到压缩数据。 通过先将所述交易数据中每个交易日内预设时刻的数据作为基准数据,然后采用 该基准数据对预设时间段内的交易数据进行差值计算,得到差值数据,将本来需要压缩的 交易数据进行量级缩小,减少编码计算时的数据量,同时也降低了保存的数据量,最后采用 ZigZag算法和Varint算法进行编码处理,得到压缩结果,最后对压缩结果插入交易日起始 指针得到压缩数据,辅助解压过程,提高了解压过程的灵活性。 本申请还提供一种结构化交易数据解压方法、结构化交易数据压缩装置、结构化 交易数据解压装置、服务器以及计算机可读存储介质,具有以上有益效果,在此不做赘述。 附图说明 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 提供的附图获得其他的附图。 图1为本申请实施例所提供的一种结构化交易数据压缩方法的流程图; 图2为本申请实施例所提供的一种结构化交易数据解压方法的流程图; 图3为本申请实施例所提供的一种结构化交易数据压缩装置的结构示意图; 图4为本申请实施例所提供的一种结构化交易数据解压装置的结构示意图。
分享到:
收藏