技术摘要:
本发明公开了一种基于反欺诈模型的实时检测方法及系统,其中方法包括如下步骤:包括如下步骤:S1用于对用户信息数据进行多维数据汇总并生成多维数据队列的步骤;S2用于通过多维数据队列进行反欺诈模型计算并生成用户评价结果的步骤;S3用于根据所述用户评价结果对用户 全部
背景技术:
随着生活环境及消费环境的日益改善,随之而来的是借贷中出现欺诈事件,金融 科技公司通常借助用户个人的手机,征信数据来综合评估用户的信用和还款能力。这个过 程中,某些中介机构会搜集大量的手机号并进行“养号”工作,即在一年周期里让这些号形 成正常的消费、通讯记录,目的是将这些号“培养”得非常健康,然后卖给有欺诈意向的用 户。现有技术中,在金融业务系统中很难预防或甄别可能的欺诈行为,在大数据场景中,数 据分析与处理的时间长,不能对大规模数据做到实时计算,不利于用户在出现欺诈行为时 能够及时中止交易,容易造成不必要的损失。
技术实现要素:
本发明的目的是提供一种基于反欺诈模型的实时检测方法及系统。 本发明提供了一种基于反欺诈模型的实时检测方法,包括如下步骤:S1用于对用 户信息数据进行多维数据汇总并生成多维数据队列的步骤;S2用于通过多维数据队列进行 反欺诈模型计算并生成用户评价结果的步骤;S3用于根据所述用户评价结果对用户进行反 欺诈检测并输出检测结果的步骤。 所述S1用于对用户信息数据进行多维数据汇总并生成多维数据队列的步骤:S11 用于通过数据生成器将上游数据进行组装为键值对结构并推送至缓存器进行存储的步骤; S12用于通过缓存器对存储的数据进行分片处理,并建立对应数据的偏移量的步骤;S13用 于将缓存器中的数据以偏移量为顺序,以键值为分区逻辑,发布至数据队列中的步骤;S14 用于通过数据队列对数据接口进行订阅连接的步骤。所述S2用于通过多维数据队列进行反 欺诈模型计算并生成用户评价结果的步骤包括:S21用于通过驱动指令操作对系统进行启 动的步骤;S22用于将反欺诈模型进行加载的步骤;S23用于通过协调指令操作对反欺诈模 型的计算任务进行调度及资源分配的步骤;S24用于通过工作指令操作负责节点状态和运 行执行程序的步骤;S25用于通过执行指令操作对数据分别进行收集和计算任务的步骤。所 述S22用于将反欺诈模型进行加载的步骤包括:S221用于通过协调指令操作检测分布式集 群各个节点的系统状态的步骤;S222用于根据加载好的反欺诈模型将计算任务分解为若干 个计算阶段任务的步骤。所述S23用于通过协调指令操作对反欺诈模型的计算任务进行调 度及资源分配的步骤包括:S231用于将每个计算阶段的任务通过不同的执行指令操作并行 执行的步骤;S232用于将每个计算阶段进行串联执行并进行资源分配和作业调度的步骤。 所述S25用于通过执行指令操作对数据分别进行收集和计算任务的步骤包括:S251用于通 过工作指令操作开启一执行指令操作,从消息中间件中以预设的时间窗口为单位读取数 据,并写入数据缓存区的步骤;S252用于开启多个执行指令操作,从数据缓存区中读取数 5 CN 111581253 A 说 明 书 2/9 页 据,并进行数据计算的步骤。所述S252用于开启多个执行指令操作,从数据缓存区中读取数 据,并进行数据计算的步骤包括:S2521用于当一个计算阶段完成时,返回成功信号给工作 指令操作,工作指令操作返回成功信号至协调指令操作的步骤;S2522用于当协调指令操作 收到一个计算阶段所有任务的成功信号时,给各个工作指令操作分发下一计算阶段的任 务,当所有计算阶段全部完成后返回成功信号给工作指令操作的步骤;S2523用于当工作指 令操作收到所有数据处理器的成功信号后,清除该批次在数据缓存区的缓存,否则一直保 留直至数据总量达到设定的阈值,则开始将缓存区的数据写入磁盘的步骤。 本发明提供了一种基于反欺诈模型的实时检测系统,包括:用于对用户信息数据 进行多维数据汇总并生成多维数据队列的模块;用于通过多维数据队列进行反欺诈模型计 算并生成用户评价结果的模块;用于根据所述用户评价结果对用户进行反欺诈检测并输出 检测结果的模块。 所述用于对用户信息数据进行多维数据汇总并生成多维数据队列的模块:用于通 过数据生成器将上游数据进行组装为键值对结构并推送至缓存器进行存储的子模块;用于 通过缓存器对存储的数据进行分片处理,并建立对应数据的偏移量的子模块;用于将缓存 器中的数据以偏移量为顺序,以键值为分区逻辑,发布至数据队列中的子模块;用于通过数 据队列对数据接口进行订阅连接的子模块。 所述用于通过多维数据队列进行反欺诈模型计算并生成用户评价结果的模块包 括:用于通过驱动指令操作对系统进行启动的子模块;用于将反欺诈模型进行加载的子模 块;用于通过协调指令操作对反欺诈模型的计算任务进行调度及资源分配的子模块;用于 通过工作指令操作负责节点状态和运行执行程序的子模块;用于通过执行指令操作对数据 分别进行收集和计算任务的子模块。所述用于将反欺诈模型进行加载的子模块包括:用于 通过协调指令操作检测分布式集群各个节点的系统状态的单元;用于根据加载好的反欺诈 模型将计算任务分解为若干个计算阶段任务的单元。所述用于通过协调指令操作对反欺诈 模型的计算任务进行调度及资源分配的子模块包括:用于将每个计算阶段的任务通过不同 的执行指令操作并行执行的单元;用于将每个计算阶段进行串联执行并进行资源分配和作 业调度的单元。所述用于通过执行指令操作对数据分别进行收集和计算任务的子模块包 括:用于通过工作指令操作开启一执行指令操作,从消息中间件中以预设的时间窗口为单 位读取数据,并写入数据缓存区的单元;用于开启多个执行指令操作,从数据缓存区中读取 数据,并进行数据计算的单元。所述用于开启多个执行指令操作,从数据缓存区中读取数 据,并进行数据计算的单元包括:用于当一个计算阶段完成时,返回成功信号给工作指令操 作,工作指令操作返回成功信号至协调指令操作的子单元;用于当协调指令操作收到一个 计算阶段所有任务的成功信号时,给各个工作指令操作分发下一计算阶段的任务,当所有 计算阶段全部完成后返回成功信号给工作指令操作的子单元;用于当工作指令操作收到所 有数据处理器的成功信号后,清除该批次在数据缓存区的缓存,否则一直保留直至数据总 量达到设定的阈值,则开始将缓存区的数据写入磁盘的子单元。 本发明所提供的一种基于反欺诈模型的实时检测方法及系统,以实现低延迟,多 维度高并发的大数据实时反欺诈方法及系统,基于事件时间进行计算保证高并发计算的准 确性,基于分布式架构保证对大规模数据高并发以及高可用的要求,通过时间窗口的控制 来保证低延迟的要求。 6 CN 111581253 A 说 明 书 3/9 页 本发明产生的有益效果:一是低延时,由于在大数据场景中,数据分析与处理对低 延时的需求越来越高,越是大量数据需要计算,所需时间越长。二是超大规模实时计算,大 数据场景中,需要对大规模数据做到实时计算,因此对超大规模数据的实时计算需求越来 越高,确保用户在出现欺诈行为时能够及时中止交易。三是多维度、高并发。随着同一业务 场景下用户规模的扩增,用户产生的数据也形成爆发性增长。在金融场景下,亟需一套完整 系统可以实现按照数据各个维度分析得出风险评估报告,根据用户特性挖掘用户潜在需求 等;系统获取用户产生数据最简单有效的方法就是流水式数据,单个数据包里包含了发生 时间点的各个维度的所有信息量,这种场景的特性之一就是数据高并发,因此该方法和系 统在进行数据分析时具有高并发性。 附图说明 图1为本发明实施例一所提供的基于反欺诈模型的实时检测方法的步骤示意图; 图2为本发明实施例一所述S1用于对用户信息数据进行多维数据汇总并生成多维 数据队列的步骤示意图; 图3为本发明实施例一所述S2用于通过多维数据队列进行反欺诈模型计算并生成 用户评价结果的步骤示意图。