logo好方法网

一种数据仓库系统


技术摘要:
本发明提供了一种数据仓库系统,包括一数据手机单元、一数据存储单元和一数据访问单元。通过本技术方案,能够向企业,特别是互联网企业的内部各业务系统提供安全的数据存储和访问服务,各业务系统相关的业务数据都可以上送到数据仓库系统,由数据仓库系统进行统一的清  全部
背景技术:
随着网络爬虫、撞库等黑客技术盛行,各类企业,特别是互联网企业的移动端应用 程序、网站、公众号、小程序内的隐私数据缺都乏统一有效的管控。大多数企业的数据都是 存储在Oracle或MySQL等关系型数据库中,前端应用程序只是进行了简单是用户身份校验 后,就可以访问几乎所有的用户数据和业务数据,很容易被不法分子窃取和利用,进而损害 企业和企业用户的权益,如何提高数据仓库存储调用过程中的安全性是目前亟需解决的主 要问题。 CN102411599A提出了一种数据仓库中异常行为的处理方法及监测服务器,通过检 测服务器根据数据仓库中系统表中记录的人物信息来判断ETL过程是否出现异常,并在出 现异常时将异常行为信息记录到数据仓库的异常信息表中并将异常行为信息发送到运维 监测设备,以使运维人员及时获取到异常行为信息,进而及时采取相应处理措施。该技术方 案与现有技术相比虽然无需运维人员频繁地去查询数据仓库就可以及时获知异常行为信 息,一定程度上提升了数据仓库的安全性,但运维人员仅能通过该技术方案获悉异常行为 信息,系统无法针对异常行为信息给出自动化解决方案并进行处理,难以及时有效地对异 常行为做出有效响应。 于现有技术的基础上,为了有效地解决上述现有问题,需要提供一种高效安全的 数据存储管理系统,一方面能够统一进行数据的清洗存储和访问控制,在保障日常数据存 储效率的同时极大程度上增加不法分子窃取数据的难度,另一方面能够实现对数据访问轨 迹有效追溯,在数据发生泄露时能够第一时间进行排查和跟踪,针对不同应用场景制定多 种防窃取的数据交互方式,进一步提升数据仓库的智能化和安全性。
技术实现要素:
针对现有技术中存在的上述问题,现提供一种数据仓库系统,具体技术方案如下 所示: 一种数据仓库系统,该种数据仓库系统分别远程连接多个外部的业务系统,业务 系统包括线上交易系统、网络请求系统和风险管控系统; 数据仓库系统包括: 一数据接收单元,用于收集每个业务系统上传的业务数据,并对业务数据进行预 处理,输出相应的待存储数据; 一数据存储单元,连接数据接收单元,数据存储单元包括多个子存储模块,每个子 存储模块对应一预设的存储类别,数据存储单元用于接收待存储数据并作为存储数据存储 至相应的子存储模块中; 一数据访问单元,连接数据存储单元,数据访问单元预先设置有多个不同的数据 4 CN 111597173 A 说 明 书 2/6 页 交互模型,用于根据业务系统发布的数据访问请求指令,从数据存储单元提取相应的存储 数据并选择相应的数据交互模型进行数据交互。 优选的,该种数据仓库系统,其中数据接收单元进一步包括: 代理模块,用于接收并解析业务数据; 缓存模块,连接代理模块,用于对业务数据进行分类缓存和并发输出,缓存模块包 括多个数据队列,每个数据队列对应一存储类别,业务数据缓存于对应的数据队列中; 清洗模块,连接缓存模块,清洗模块包括多个清洗子模块,每个清洗子模块对应一 存储类别,用于对数据队列中的业务数据进行数据清洗,输出待存储数据。 优选的,该种数据仓库系统,其中清洗模块采用Flink流式计算进行数据清洗。 优选的,该种数据仓库系统,其中数据接收单元还包括一通知模块; 通知模块连接清洗模块,当清洗模块输出待存储数据时向预先订阅通知的业务系 统发送数据收集完成通知。 优选的,该种数据仓库系统,其中数据接收单元对业务数据的接收支持套接字传 输协议和/或超文本传输协议和/或日志收集传输协议和/或文件传输协议。 优选的,该种数据仓库系统,其中业务数据包括业务系统收集的用户数据和订单 数据。 优选的,该种数据仓库系统,其中数据存储单元进一步包括: 一快照模块,用于获取待存储数据对应的数据快照; 一搜索模块,连接快照模块,用于存储数据快照,并可根据外部的用户指令对数据 快照进行提取和分析。 优选的,该种数据仓库系统,其中数据访问单元进一步包括: 一第二存储模块,用于存储多个数据交互模型; 一鉴权模块,用于对数据访问请求指令进行访问权限鉴权,并输出一鉴权结果; 一数据交互模块,分别连接鉴权模块和第二存储模块,用于根据鉴权结果,当鉴权 结果为通过时,根据数据访问请求指令提取相应的存储数据和数据交互模型并使用数据交 互模型对存储数据进行数据交互。 优选的,该种数据仓库系统,其中数据访问单元提供统一的API接口供每个业务系 统发起数据访问请求指令。 优选的,该种数据仓库系统,其中数据交互模型包括: 加密传输模型,用于对待数据交互的存储数据进行动态加密; 阅后即焚模型,用于将待数据交互的存储数据转化为图片格式数据进行输出并于 初次访问后的一预设时间后删除图片格式数据; 脱敏模型,用于对待数据交互的存储数据进行脱敏处理; 高频拦截模型,用于判断一用户设备或IP地址的访问频次是否高于一预设阈值, 并当访问频次高于预设阈值时切断于用户设备或IP地址的访问连接。 上述技术方案具有如下优点或有益效果: 通过本技术方案,能够向企业,特别是互联网企业的内部各业务系统提供安全的 数据存储和访问服务,各业务系统相关的业务数据都可以上送到数据仓库系统,由数据仓 库系统进行统一的清洗和存储,各业务系统访问这些数据时会进行统一的鉴权处理,并具 5 CN 111597173 A 说 明 书 3/6 页 备多种防窃取的数据交互方式,一方面能够实现企业内部系统最大限度的数据共享,另一 方面能够满足对外隐私数据的最大保护需求,具有极佳的适用性和可推广性。 附图说明 图1为本发明一种数据仓库系统的结构示意图。
分享到:
收藏