logo好方法网

图像数据的处理方法及其装置、介质和系统


技术摘要:
本申请涉及数据处理技术领域,特别涉及一种图像数据的处理方法及其装置、介质和系统。本申请的图像数据的处理方法包括:获取待抽取的目标数据库,其中,当前写入目标数据库的数据标识为i,i为正整数;基于目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n  全部
背景技术:
随着通信技术以及互联网络技术等的发展,人们在日常生活中每天都会产生大量 的数据(例如视频监控、视频会议、网络直播、网络电话等等产生的大量的数据)。数据从简 单的处理对象开始转变为一种基础性资源,网络中产生的大量的数据给数据存储、管理以 及数据分析带来了极大的挑战。如何更好地管理和利用这些大量的数据已经成为普遍关注 的话题。 通常在需要对特定数据做数据特征分析时,需要用到统计学方法。例如,通过数据 采样,得到数据样本,针对数据样本做分析,可以大大降低数据分析的数据处理量。统计学 中的抽样方法分为概率抽样和非概率抽样,对于现有的一些抽样方法,例如简单随机抽样、 系统抽样、分层抽样、以及整群抽样等,这些抽样方法用于应对固定容量的数据集,且数据 集容量不易过大,无法满足用户对源源不断地增加数据的数据集进行抽样的需求。
技术实现要素:
本申请实施例提供了一种图像数据的处理方法及其装置、介质和系统。 本申请通过比较当前写入存储有待抽取图像数据的数据库的数据标识和样本容 量的大小,来创建样本图像数据集。具体地,将当前写入目标数据库的数据标识i与样本图 像数据集的样本容量n进行比较;当i小于等于n时,确定目标数据库中数据标识为i的数据 为样本图像数据集中的数据;当i大于n时,根据样本容量n和数据标识i的比值与随机数发 生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集 中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1。例如,样本容量n和数据标 识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图 像数据集中抽取一例数据丢弃,并且将目标数据库中数据标识为i的数据放入样本图像数 据集中;在样本容量n和数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本 容量为n的样本图像数据集中的数据保持不变。然后用与以上相同的方法继续判断第i 1例 数据是否被放入样本图像数据集中。如此,相比较于相关技术中只能对固定容量的抽样全 体进行简单随机抽样,或者用固定的概率对样本全体进行抽样的技术方案,本方案可以对 图像数据量不断变化并且数据量较大的图像数据全体,实现快速均匀抽样,实时得到一个 能够覆盖图像数据全体的且不断更新的特定容量的简单随机抽样的图像数据样本。可以满 足用户对于有源源不断的图像数据产生的图像处理场景下(例如视频监控),实时快速获取 能够均匀覆盖图像数据全体的特定容量的图像数据样本的需求。 第一方面,本申请实施例提供了一种图像数据的处理方法,包括:获取待抽取的目 标数据库,目标数据库中存储有待抽取的图像数据,其中,当前写入目标数据库的数据标识 4 CN 111598053 A 说 明 书 2/9 页 为i,i为正整数;基于目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为 正整数:将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较;在 数据标识i小于等于样本图像数据集的样本容量n的情况下,确定目标数据库中数据标识为 i的数据为样本图像数据集中的数据;在数据标识i大于样本图像数据集的样本容量n的情 况下,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数 r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随 机数发生器生成的随机数r大于等于0,小于1。 在上述第一方面的一种可能的实现中,上述方法还包括:样本图像数据集被存储 在目标数据库中,并且目标数据库中存储有对应于样本图像数据集中的每一个样本数据的 标签信息。 在上述第一方面的一种可能的实现中,上述方法还包括:样本图像数据集被存储 在样本数据库中,样本数据库的容量为n。 在上述第一方面的一种可能的实现中,上述方法还包括:根据样本图像数据集的 样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中 数据标识为i的数据是否为样本图像数据集中的数据,包括: 在样本图像数据集的样本容量n和数据标识i的比值大于随机数发生器生成的随 机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将 目标数据库中数据标识为i的数据放入样本图像数据集中; 在样本图像数据集的样本容量n和数据标识i的比值小于随机数发生器生成的随 机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。 在上述第一方面的一种可能的实现中,上述方法还包括:图像数据包括图像的清 晰度以及图像中待处理目标的比例中的至少一种; 在图像的清晰度大于设定清晰度阈值的情况下,或者,在图像中待处理目标的比 例大于设定比例阈值的情况下,确定图像为待抽取的图像。 第二方面,本申请实施例提供了一种数据处理装置,包括: 数据获取模块,用于获取待抽取的目标数据库,目标数据库中存储有待抽取的图 像数据,其中,当前写入目标数据库的数据标识为i,i为正整数; 样本确定模块,用于基于目标数据库,通过以下方式获得样本容量为n的样本图像 数据集,n为正整数: 将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较; 在数据标识i小于等于样本图像数据集的样本容量n的情况下,确定目标数据库中 数据标识为i的数据为样本图像数据集中的数据; 在数据标识i大于样本图像数据集的样本容量n的情况下,根据样本图像数据集的 样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中 数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r 大于等于0,小于1。 在上述第二方面的一种可能的实现中,上述装置还包括:样本图像数据集被存储 在目标数据库中,并且目标数据库中存储有对应于样本图像数据集中的每一个样本数据的 标签信息。 5 CN 111598053 A 说 明 书 3/9 页 在上述第二方面的一种可能的实现中,上述装置还包括:样本图像数据集被存储 在样本数据库中,样本数据库的容量为n。 在上述第二方面的一种可能的实现中,上述装置还包括:样本确定模块通过以下 方式,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数 r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据: 在样本图像数据集的样本容量n和数据标识i的比值大于随机数发生器生成的随 机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将 目标数据库中数据标识为i的数据放入样本图像数据集中; 在样本图像数据集的样本容量n和数据标识i的比值小于随机数发生器生成的随 机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。 在上述第二方面的一种可能的实现中,图像数据包括图像的清晰度以及图像中待 处理目标的比例中的至少一种;上述装置还包括:预处理模块,用于在图像的清晰度大于设 定清晰度阈值的情况下,或者,在图像中待处理目标的比例大于设定比例阈值的情况下,确 定图像为待抽取的图像。 第三方面,本申请实施例提供了一种机器可读介质,机器可读介质上存储有指令, 该指令在机器上执行时使机器执行第一方面以及第一方面可能的各实现中的图像数据的 处理方法。 第四方面,本申请实施例提供了一种系统,包括: 存储器,用于存储由系统的一个或多个处理器执行的指令,以及 处理器,是系统的处理器之一,用于执行第一方面以及第一方面可能的各实现中 的图像数据的处理方法。 附图说明 图1根据本申请的一些实施例,示出了一种采用本申请提供的图像数据的处理方 法对商店的人流进行数据分析的场景图; 图2根据本申请的一些实施例,示出了一种图像数据的处理方法的流程图; 图3根据本申请的一些实施例,示出了一种图像数据的处理装置的结构框图; 图4根据本申请的一些实施例,示出了一种系统的框图; 图5根据本申请的一些实施例,示出了一种片上系统(SoC)的框图。
下载此资料需消耗2积分,
分享到:
收藏