logo好方法网

基于动态评估的数据探查方法和装置


技术摘要:
本发明公开了一种基于动态评估的数据探查方法和装置,通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查,得到第一探查结果;对第一探查结果进行评估,得到评估结果,根据评估结果对探查流程进行动态调整,获得动态匹配的探查规则,并通过探查规则获得  全部
背景技术:
随着社会进入大数据时代,各种大数据系统需要接入不同行业、多种多样的数据 源的原始数据,只有探查清楚数据源的存储位置、提供方式、总量及更新情况、业务含义、数 据结构、数据质量等信息,才能让大数据系统真正认识数据,更好地接入数据,所以如何快 速准确地探查清楚各个数据源的详细信息,并基于探查结果自动调整数据接入策略,成为 大数据建设成败和提高大数据利用价值的核心点。 由于大数据系统接入的原始数据的种类多、结构复杂等特点,目前市场上现有的 数据探查方法,主要通过手工填写模板进行数据源信息的登记工作,这些技术存在以下不 足: 1)数据探查的方式,通过手工配置的方式完成信息登记,工作量大,探查的时效性 差,且由于需要探查的数据项多,经常存在少填、漏填或填写错误等问题。 2)数据探查的范围,只能针对有维护厂家支撑的数据源进行信息登记,无法全面 覆盖所有接入数据源的探查工作。 有鉴于此,建立一种新型的数据探查方法和装置是非常具有意义的。
技术实现要素:
针对上述提到的探查数据量大、效率低、工作量大、时效性差,并且无法全面覆盖 等问题。本申请的实施例的目的在于提出了一种基于动态评估的数据探查方法和装置来解 决以上
下载此资料需消耗2积分,
分享到:
收藏