技术摘要：
本发明提供了基于增强现实模式的智能学习系统和方法，该基于增强现实模式的智能学习系统和方法能够根据在智能学习过程中虚拟学习影像与现实环境影像之间在图像显示和/或声音播放上的协同性差异，来适应性地调整该虚拟学习影像和该现实环境影像中任意一者的图像显示参数  全部
背景技术：
目前，智能学习技术都只是知识数据本身进行相应的处理，其虽然能够在一定程 度上提高学生的知识学习效率和质量，但是其并不能适应不同学习场景的需求。为了丰富 智能学习模式的场景多样性和可变性，现有技术已经出现了借助头戴式显示设备来提高智 能学习过程的现实感和趣味性。但是，现有的头戴式显示设备并没有考虑到其播放的虚拟 学习影像与现实环境影像之间的协同性，这很容易导致上述两种影像存在不协调同步的情 况，从而严重影响智能学习过程的影像播放质量和学习有效性。
技术实现要素：
针对现有技术存在的缺陷，本发明提供一种基于增强现实模式的智能学习系统和 方法，该基于增强现实模式的智能学习系统和方法通过根据当前学习场合的学习数据形成 虚拟学习影像以及根据该当前学习场合对应的环境相关信息形成现实环境影像，并且还确 定该虚拟学习影像与该现实环境影像之间在图像显示和/或声音播放的协同性，以此根据 该协同性的确定结果，对调整该虚拟学习影像和/或该现实环境影像的图像显示参数和/或 声音播放参数；可见，该基于增强现实模式的智能学习系统和方法能够根据在智能学习过 程中虚拟学习影像与现实环境影像之间在图像显示和/或声音播放上的协同性差异，来适 应性地调整该虚拟学习影像和该现实环境影像中任意一者的图像显示参数和/或声音播放 参数，从而最大限度地优化该智能学习过程中虚拟学习影像与现实环境影像的播放匹配性 以及有效地避免发生影像播放失真、突兀和卡顿情况的出现。 本发明提供基于增强现实模式的智能学习系统，其特征在于： 所述基于增强现实模式的智能学习系统包括虚拟学习影像形成模块、现实环境影 像形成模块、影像协同性确定模块和影像调整模块；其中， 所述虚拟学习影像形成模块用于根据当前学习场合的学习数据形成虚拟学习影 像； 所述现实环境影像形成模块用于根据所述当前学习场合对应的环境相关信息形 成现实环境影像； 所述影像协同性确定模块用于确定所述虚拟学习影像与所述现实环境影像之间 在图像显示和/或声音播放的协同性； 所述影像调整模块用于根据所述协同性的确定结果，对调整所述虚拟学习影像 和/或所述现实环境影像的图像显示参数和/或声音播放参数； 进一步，所述虚拟学习影像形成模块包括虚拟动态图像/声音信号子模块、图像- 声音同步调制子模块和虚拟学习影像AR转换子模块；其中， 6 CN 111583420 A 说　明　书 2/10 页 所述虚拟动态图像/声音信号子模块用于按照预定教学模板，将所述当前学习场 合的文字资料、图片资料和声音资料组成相应的虚拟动态图像/声音信号； 所述图像-声音同步调制子模块用于对所述虚拟动态图像/声音信号进行针对图 像成分与声音成分同步调制； 所述虚拟学习影像AR转换子模块用于将所述同步调制后的所述虚拟动态图像/声 音信号输入至AR设备中，并通过所述AR设备转换形成所述虚拟学习影像； 进一步，所述现实环境影像形成模块包括环境相关信息预处理子模块、图像-声音 同步匹配子模块和现实环境影像AR转换子模块；其中， 所述环境相关信息预处理子模块用于对所述当前学习场合对应的环境图像信息 和环境声音信息进行降噪预处理； 所述图像-声音同步匹配子模块用于将经过所述降噪预处理的所述环境图像信息 和所述环境声音信息进行同步匹配，以此组成相应的环境动态图像/声音信号； 所述现实环境影像AR转换子模块用于将所述环境动态图像/声音信号输入至AR设 备中，并通过所述AR设备转换形成所述现实环境影像； 进一步，所述影像协同性确定模块包括虚拟学习影像处理子模块、现实环境影像 处理子模块、图像协同性确定子模块和声音协同性确定子模块；其中， 所述虚拟学习影像处理子模块用于获取所述虚拟学习影像在播放过程中对应的 第一图片帧播放序列信息和第一声音播放波形信息； 所述现实环境影像处理子模块用于获取所述现实环境影像在播放过程中对应的 第二图片帧播放序列信息和第二声音播放波形信息； 所述图像协同性确定子模块用于将所述第一图片帧播放序列信息与所述第二图 片帧播放序列信息进行对比处理，以此确定两者在图像亮度、图像刷新率和图像失真度中 至少一者的协同性； 所述声音协同性确定子模块用于将所述第一声音播放波形信息与所述第二声音 播放波形信息进行对比处理，以此确定两者在声音强度和声音频率中至少一者的协同性； 进一步，所述影像调整模块包括图像参数调整子模块和声音参数调整子模块；其 中， 所述图像参数调整子模块用于根据所述协同性的确定结果，对所述虚拟学习影像 和/或所述现实环境影像进行关于图像亮度、图像刷新率和图像失真度中至少一者的调整； 所述声音参数调整子模块用于根据所述协同性的确定结果，对所述虚拟学习影像 和/或所述现实环境影像进行关于声音播放强度和声音播放频率中至少一者的调整； 进一步，所述影像调整模块用于根据所述协同性的确定结果，对调整所述虚拟学 习影像和/或所述现实环境影像的图像显示参数和/或声音播放参数，其具体实现过程包 括： 步骤A1，根据所述虚拟学习影像形成模块，采集所述当前学习场合的文字、图片和 声音资料，通过下面公式(1)对应的线性变换并进行逻辑关联性排序处理，按照预定逻辑排 序组成相应的虚拟动态图像、声音信号 7 CN 111583420 A 说　明　书 3/10 页 在上述公式(1)中，e为自然常数，π为圆周率，M为所述当前学习场合采集图片资料 的数量，m＝1,2,3、、、M；N为所述当前学习场合采集音频数据的份数，n＝1,2,3、、、N；λ为所 述当前学习场合采集音频数据的波长，T为所述当前学习场合采集音频数据的音频周期，p 为所述当前学习场合采集各资料的数据大小，pa、pb、pc分别为所述当前学习场合采集各文 字、图片、声音资料的数据占比信息，σ为对采集资料进行逻辑关联性排序，x为所述学习场 合各图片中像素点数量，Ax为所述学习场合各图片的像素点数量为x所对应动作趋势信息， y为所述学习场合识别出文字的数量，By为所述学习场合识别出文字的数量为y所对应语境 场景信息，z为所述学习场合音频数据的大小，Cz为所述学习场合音频数据的大小为z所对 应的音频特征识别信息，|Ax(pa)|f(σ xpa)为对所述学习场合采集图片进行逻辑排序处理， 为对所述学习场合采集文字及声音资料进行排序处 理，Vir(Ax,Cz)为经将所识别图片、文字、音频数据进行逻辑关联性排序，按照预定逻辑排序 组成相应的虚拟动态图像、声音信号； 步骤A2，将步骤A1获取的按照预定逻辑排序组成的相应虚拟动态图像、声音信号， 经过降噪预处理，并进行下面公式(2)对应的迭代收敛计算，获取相应的所述环境图像信息 和所述环境声音信息同步匹配数据 在上述公式(2)中，exp为自然常数e为底的指数函数，l为拟创建相应虚拟环境的 数量， 为评估所述环境图像信息经信号增强处理后与目标动态图像之间的偏差， 为评 估所述环境声音信息经信号增强处理后与目标动态声音信号之间的偏差，f(A)为所述环境 动态图像信号，f(C)为所述环境动态声音信号，F(l)为获取相应的所述环境图像信息和所 述环境声音信息同步匹配数据； 步骤A3，根据所述影像协同性确定模块以及下面公式(3)，确定步骤A2获取的所述 环境图像信息和所述环境声音信息同步匹配数据的协同性，根据结果，执行调整所述虚拟 学习影像和所述现实环境影像的图像显示参数和声音播放参数的操作 在上述公式(3)中，μ为确认同步匹配数据的同步率，q为通过所述影像协同性确定 模块处理图像参数与声音参数的数量，kq所述影像协同性确定模块确认的标准图像数据数 量，rq所述影像协同性确定模块确认的标准声音数据数量，O(kq,rq)为所述影像协同性确定 8 CN 111583420 A 说　明　书 4/10 页 模块确认的标准图像及声音数据信息，P(u)为获取所述环境图像信息和所述环境声音信息 同步匹配数据的同步率，当P(μ)计算值不为0时，则表示所述环境图像信息和所述环境声音 信息同步匹配数据不完全同步，执行调整所述虚拟学习影像和所述现实环境影像的图像显 示参数和声音播放参数的操作。 本发明还提供基于增强现实模式的智能学习方法，其特征在于，所述基于增强现 实模式的智能学习方法包括如下步骤： 步骤S1，获取当前学习场合的学习数据，并将所述学习数据转换成虚拟学习影像； 步骤S2，获取所述当前学习场合对应的环境相关信息，并将所述环境相关信息转 换成现实环境影像； 步骤S3，确定所述虚拟学习影像与所述现实环境影像之间在图像显示和/或声音 播放的协同性； 步骤S4，根据所述协同性的确定结果，对调整所述虚拟学习影像和/或所述现实环 境影像的图像显示参数和/或声音播放参数； 进一步，在所述步骤S1中，获取当前学习场合的学习数据，并将所述学习数据转换 成虚拟学习影像具体包括， 步骤S101，获取所述当前学习场合的文字资料、图片资料和声音资料，并将所述文 字资料、所述图片资料和所述声音资料按照预定教学模板组成相应的虚拟动态图像/声音 信号； 步骤S102，对所述虚拟动态图像/声音信号进行针对图像成分与声音成分同步调 制； 步骤S103，将所述同步调制后的所述虚拟动态图像/声音信号输入至AR设备中，并 通过所述AR设备形成所述虚拟学习影像； 或者， 在所述步骤S2中，获取所述当前学习场合对应的环境相关信息，并将所述环境相 关信息转换成现实环境影像具体包括， 步骤S201，采集所述当前学习场合对应的环境图像信息和环境声音信息，并对所 述环境图像信息和所述环境声音信息进行降噪预处理； 步骤S202，将经过所述降噪预处理的所述环境图像信息和所述环境声音信息进行 同步匹配，以此组成相应的环境动态图像/声音信号； 步骤S203，将所述环境动态图像/声音信号输入至AR设备中，并通过所述AR设备形 成所述现实环境影像； 进一步，在所述步骤S3中，确定所述虚拟学习影像与所述现实环境影像之间在图 像显示和/或声音播放的协同性具体包括， 步骤S301，获取所述虚拟学习影像在播放过程中对应的第一图片帧播放序列信息 和第一声音播放波形信息； 步骤S302，获取所述现实环境影像在播放过程中对应的第二图片帧播放序列信息 和第二声音播放波形信息； 步骤S303，将所述第一图片帧播放序列信息与所述第二图片帧播放序列信息进行 对比处理，以此确定两者在图像亮度、图像刷新率和图像失真度中至少一者的协同性； 9 CN 111583420 A 说　明　书 5/10 页 步骤S304，将所述第一声音播放波形信息与所述第二声音播放波形信息进行对比 处理，以此确定两者在声音强度和声音频率中至少一者的协同性； 进一步，在所述步骤S4中，根据所述协同性的确定结果，对调整所述虚拟学习影像 和/或所述现实环境影像的图像显示参数和/或声音播放参数具体包括， 根据所述协同性的确定结果，对所述虚拟学习影像和/或所述现实环境影像进行 关于图像亮度、图像刷新率和图像失真度中至少一者的调整； 和/或， 根据所述协同性的确定结果，对所述虚拟学习影像和/或所述现实环境影像进行 关于声音播放强度和声音播放频率中至少一者的调整。 相比于现有技术，该基于增强现实模式的智能学习系统和方法通过根据当前学习 场合的学习数据形成虚拟学习影像以及根据该当前学习场合对应的环境相关信息形成现 实环境影像，并且还确定该虚拟学习影像与该现实环境影像之间在图像显示和/或声音播 放的协同性，以此根据该协同性的确定结果，对调整该虚拟学习影像和/或该现实环境影像 的图像显示参数和/或声音播放参数；可见，该基于增强现实模式的智能学习系统和方法能 够根据在智能学习过程中虚拟学习影像与现实环境影像之间在图像显示和/或声音播放上 的协同性差异，来适应性地调整该虚拟学习影像和该现实环境影像中任意一者的图像显示 参数和/或声音播放参数，从而最大限度地优化该智能学习过程中虚拟学习影像与现实环 境影像的播放匹配性以及有效地避免发生影像播放失真、突兀和卡顿情况的出现。 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、以及附图中所特别指出的结构来实现和获得。 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。 图1为本发明提供的基于增强现实模式的智能学习系统的结构示意图。 图2为本发明提供的基于增强现实模式的智能学习方法的流程示意图。