logo好方法网

基于检查表的多维度大数据分析展示系统


技术摘要:
本发明涉及一种基于检查表的多维度大数据分析展示系统,包括:数据清洗模块,用于对数据库的原始数据清洗,对数据进行ETL操作;检查表模块,用于维护检查表数据,所述检查表为执法检查表或管理检查表,检查表由多个检查项组成;维度表模块,用于维护维度表数据,所述维  全部
背景技术:
吸烟问题的危害是当今世界最严重的公共问题之一,世界卫生组织已将烟草流行 问题列入全球公共卫生重点控制领域,随着我国法律体系不断的完善,控烟监督处罚工作 量也在日益增加,公众对监督执法部门的工作也提出了更高的要求,我国的控烟工作已走 上法制管理轨道,卫生监督部门根据该办法采取了许多措施控烟,但收效甚微。由于某些原 因导致吸烟严重地区不能及时进行监督处罚,或者漏监督。预防接种监督等其它公共卫生 管理事项以及其它执法管理监督领域也都存在类似的问题。因此,构建一套多维度大数据 分析展示系统,为监督工作提供有效、准确的数据分析结果,提高监督工作的工作效率,是 亟待解决的问题
技术实现要素:
本发明的发明目的在于提供基于检查表的多维度大数据分析展示系统,能够有效 提高监督工作的工作效率。 实现本发明目的的技术方案: 一种基于检查表的多维度大数据分析展示系统,其特征在于,包括: 数据清洗模块,所述数据清洗模块用于对数据库的原始数据清洗,对数据进行ETL 操作; 检查表模块,所述检查表模块用于维护检查表数据,所述检查表为执法检查表或 管理检查表,检查表由多个检查项组成; 维度表模块,所述维度表模块用于维护维度表数据,所述维度表由多个数据维度 项组成; 数据分析处理模块,所述数据分析处理模块针对数据清洗模块、检查表模块、维度 表模块中数据进行数据分析,从数据清洗模块生成的数据中提取有效数据,向数据展示模 块提供数据支持;并对检查表模块、维度表模块进行数据更新; 数据展示模块,所述数据展示模块用于对分析处理后的数据进行展示。 进一步地,所述检查表模块,可根据监督处罚结果进行分析,统计整理出新的检查 项,录入检查表。 进一步地,所述维度表模块,可根据监督处罚结果进行分析,分析出新的数据维度 项,录入维度表。 进一步地,所述检查表模块,可基于Apriori算法处理数据,计算数据项最小支持 度Support,并可根据最小支持度Support,确定检查表中新的检查项;最小支持度Support 通过如下方法计算, 根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据 4 CN 111597172 A 说 明 书 2/5 页 Apriori算法挖掘频繁项集,计算出最小支持度Support: Support(super∩factma)=Freq(super∩factma)/N; N代表处罚有效数据总数。 进一步地,所述维度表模块,可基于Apriori算法处理数据,计算数据项可信度 Confidence,并根据可信度Confidence,可确定新的数据维度项;可信度Confidence通过如 下方法计算, 基于Apriori算法分析出新的数据维度项,具体方法如下, 根据数据清洗模块产生的数据super,结合监督处罚情况数据factma,根据 Apriori算法挖掘频繁项集,计算出可信度Confidence: Confidence=Freq(super∩factma)/Freq(factma)。 进一步地,所述数据分析处理模块,可基于Apriori算法处理数据,计算数据项提 升度LIFT,并根据提升度LIFT,确定提取有效数据,并对数据进行标准化处理;提升度LIFT 通过如下方法计算, Lift(a)=Support(super∩dimension)/Support(super)*Support(dimension); Lift(b)=Support(super∩examin)/Support(super)*Support(examin); 式中,Support代表最小支持度,super代表数据清洗模块产生的数据,dimension 代表维度表模块数据,examin代表检查表模块数据。 进一步地,所述数据展示模块,包括数据交互模块和数据图像化模块,使用D3.js 根据数据以及模块绘制所需的图表;其中包含地图,地图使用SVG,根据标准地图服务系统 提供数据绘制,并实现地图下钻功能。 进一步地,设有分布式协调模块,基于Zookeeper来管理整个大数据集群,保证所 有服务器正常运行。 本发明具有的有益效果: 本发明包括数据清洗模块、检查表模块、维度表模块、数据分析处理模块、数据展 示模块,数据分析处理模块针对数据清洗模块、检查表模块、维度表模块中数据进行数据分 析,从数据清洗模块生成的数据中提取有效数据,向数据展示模块提供数据支持;并对检查 表模块、维度表模块进行数据更新;数据展示模块于可对分析处理后的数据进行展示。本发 明可为监督工作提供有效、准确的数据分析结果,提高监督工作的工作效率,通过各种维度 分析更有价值的监督数据,统计分析工作是实现良好监督,管理科学化和统计参与决策的 有效手段。 本发明检查表模块可基于Apriori算法处理数据,计算数据项最小支持度 Support,并可根据最小支持度Support,确定检查表中新的检查项,即,增加新的检查项,使 得监督工作具有更强的针对性,进一步提高监督工作效率。 本发明维度表模块可基于Apriori算法处理数据,计算数据项可信度Confidence, 并根据可信度Confidence,可确定新的数据维度项,即,增加新的数据维度项,使得提供的 监督数据更具参考性,进一步提高监督工作效率。 本发明数据分析处理模块可基于Apriori算法处理数据,计算数据项提升度LIFT, 并根据提升度LIFT,确定提取有效数据,滤除无效数据,并对数据进行标准化处理,使得通 过数据展示模块展示的数据更具参考性。 5 CN 111597172 A 说 明 书 3/5 页 本发明数据展示模块包括数据交互模块和数据图像化模块,使用D3.js根据数据 以及模块绘制所需的图表;其中包含地图,地图使用SVG,根据标准地图服务系统提供数据 绘制,并实现地图下钻功能。本发明采用D3.js SVG方式,更有利实现数据交互,更适合数据 展示模块图谱之间的交互性,能够实现高效分析展示效果。本发明通过大数据技术对数据 进行清洗、标准化,通过Apriori算法挖掘出高质量的数据,通过计算出来的数据,使用解释 型(即时编译型)的编程语言JavaScript,结合D3.js SVG技术实现数据可视化,通过Html页 面实现图表化的可视化分析,使得呈现数据更加直观,使用户可以快速了解分析数据,从而 为后续的监督检查提供有力支撑。 本发明设有分布式协调模块,基于Zookeeper来管理整个大数据集群,保证所有服 务器正常运行,进一步保证系统运行的可靠性。 附图说明 图1为本发明系统总体架构图; 图2为本发明地图实现效果图; 图3为本发明展示的统计图。
下载此资料需消耗2积分,
分享到:
收藏