技术摘要：
本发明涉及英语课文辅助教学的技术领域，提供了一种基于AI视觉下的英语课文辅助教学方法及系统，其方法包括：以英文课本为索引，建立英文课本的教学知识库，并将教学知识库存储于云端数据库中；通过智能设备，与云端数据库进行数据交互，获取教学知识库中的英文课本的  全部
背景技术：
目前国内的学生学习英语有两种途径，一是在学校或者其它课外教育机构由授课 老师教学，二是自学。现有的自学模式中，学生在自学时，有两个难处，一是书本上对知识点 或句子的指导不会展开得很详细，学生很难深入理解知识点可能似懂非懂就过去了。二是， 如果学生希望深究，就需要通过网络通过输入的方式查询或向资深者咨询，过程繁琐，又难 以整理。 在CN106297453A—一种英语交互式教与学系统中，公开“一种英语交互式教与学 系统，包括学生端和教师端，所述学生端和教师端均电性输出连接数据传输单元，所述数据 传输单元电性输出连接主控单元，所述无线通讯模块电性输出连接主机显示终端，在网络 上实时的进行人机交互，并及时反馈学习情况，使教学活动成为双向沟通的过程，具有主动 高效率的优点，该系统能够提供丰富的教学资料，学生可自由地从数据库中查询阅览所需 资料，提高了学生的自学能力和学习主动性，其教学内容不再局限于文本，还包括了视频、 音频等多信息的组合，打破了传统的单向信息灌输，实现视频、音频和数据流的多媒体信息 的总体控制与双向交互操作”。上述公开的用于学习的技术方案中，学生学习的内容仅是教 师提供在教与学的系统中的教学资料，虽然能够自由地从数据库中查询阅览所需资料，但 是数据库上提供的资料，不一定正好是学生正好需要的资料，仍然需要去花时间去从资料 中找自己需要的内容，与通过网络查询或者向资深者咨询的方式相同，过程繁琐，又难以整 理，且无法根据课本的学习进度进行深入的学习。 在CN105005561B--一种基于语料库的双语检索统计翻译系统中，公开“一种基于 语料库的双语检索统计翻译系统，包括数据库，用于储存各类相关词表、语句、单词以及每 个单词、语句对应的解释和应用案例数据；数据库更新模块、人机操作模块，包括键盘输入 模块、手写输入模块以及语音输入模块，用于输入需要查询的英语数据或汉语数据，并将数 据发送到数据识别单元；同时还用于输入信息调用命令；数据识别单元，数据分割单元，数 据翻译模块，检索功能模块，词表功能模块，搭配词功能模块，词簇功能模块，主题性功能模 块，词汇分类功能模块和自学功能模块。本发明可以选择不同的输入模式，检索过程简单快 速，在得到检索结果时，可以得到该文本数据的分类、词句以及应用案例等数据，减省了用 户的时间，使用方便”。上述公开的技术方案中，仍然需要手动输入才能后获取翻译和详细 的知识点，并且无法同样无法与课文相对应。 综上所述，在现有技术中没有一种英文课文辅助教学方法，能够与课文相对应，在 学习时通过简单的用手势指出课文中的内容，即可在显示设备中显示英文句子解析的内 容。 5 CN 111610901 A 说　明　书 2/10 页
技术实现要素：
针对上述问题，本发明的目的在于提供一种基于AI视觉下的英语课文辅助教学方 法及系统，先帮助学生整理出相关课本中的知识点，针对课文中出现的每一句英文，整理其 对应的翻译，范读音频，语法解析，词汇，词组讲解，用法场景等与该句子相关的知识点，存 储在云端。然后学生遇到希望学习的内容，在AI智能识别设备的工作环境中，用手指通过划 线的方式，“划”出疑难，AI智能识别设备识别出句子后，访问云端知识库，返回给学生对该 疑难点的解答。 本发明的上述发明目的是通过以下技术方案得以实现的： 一种基于AI视觉下的英语课文辅助教学方法，包括以下步骤： S1：以英文课本为索引，建立所述英文课本的教学知识库，并将所述教学知识库存 储于云端数据库中，在所述教学知识库中根据所述英文课本对应的教材类型的知识结构建 立相适配的存储结构，将所述英文课本的相关知识点存储于所述相适配的存储结构中； S2：通过包括具有显示屏、语音交互能力在内的智能设备，与所述云端数据库进行 数据交互，获取所述教学知识库中的所述英文课本的索引，并在所述英文课本的索引中选 中将要学习的所述英文课本； S3：通过AI设备在所述英文课本上，识别出通过包括划线在内的手势指出的需要 解惑的句子，并与所述智能设备进行通讯，所述智能设备在所述教学知识库中获取与所述 需要解惑的句子对应的所述相关知识点，将所述相关知识点在所述智能设备上通过包括显 示屏、语音在内的方式展示出来。 进一步地，在步骤S1中，将所述英文课本的所述相关知识点存储于所述相适配的 存储结构中，具体为： 根据所述英文课文对应的教材类型，建立与所述教材类型对应的一所述相关知识 点的录入页面，并在所述教学知识库中建立所述相关知识点的录入权限，只有拥有所述相 关知识点的录入权限的账户，才能对所述相关知识点进行包括录入，修改，删除在内的操 作； 其中，对所述相关知识点的录入操作包括在所述录入页面上设置文本框，以填空 的形式录入所述相关知识点、在所述录入页面上设置导入按钮，以预整理文件的形式导入 所述相适配的存储结构在内的方式； 所述预整理文件包括xls、xml在内的格式。 进一步地，在步骤S3中，识别出通过包括划线在内的手势指出的需要解惑的句子， 具体为： S31：所述AI设备持续跟踪在划线过程中的手指位置，获取连续多帧的手指位置的 定位，并对所述连续多帧的手指位置附近的图像进行切割，作为焦点文本区域； S32：通过由神经网络算法训练过的行特征线识别人工智能算法对所述焦点文本 区域内的图像进行各行的特征线识别，根据所述特征线切割出每一行的图片信息； S33：针对所述每一行的图片信息，根据文字的扭曲程度和扭曲方向进行文字分 组，获得含有不同数量文字的文字图像块，并记录下所述文字图像块的位置信息； S34：通过包括OCR算法在内的文字图像识别人工智能算法对所述文字图像块进行 识别，获取所述文字图像块内的文字和标点信息； 6 CN 111610901 A 说　明　书 3/10 页 S35：根据所述文字图像块的位置信息整合所述文字和标点信息，并使用自然语言 处理获取焦点文本的句头和句尾，完成所述需要解惑的句子的提取。 进一步地，所述使用所述自然语言处理获取焦点文本的句头和句尾，完成所述焦 点文本的提取，具体为： 通过使用所述文字图像识别人工智能算法识别包括句号、感叹号、问号在内的代 表句头和句尾的标点符号，识别大写首字母，并推断所述大写首字母是否为句首，通过YEKP 算法根据句意进行断句处理的方式，获取所述焦点文本的句头和句尾，完成所述焦点文本 的提取。 进一步地，通过包括划线在内的手势指出所述需要解惑的句子，还包括： 通过手势划出所述需要解惑的句子的一部分，当在所述教学知识库中获取与所述 需要解惑的句子对应的所述相关知识点时，通过所述需要解惑的句子的一部分与所述教学 知识库中录入的句子进行模糊匹配，即可获取到对应的所述相关知识点。 一种基于AI视觉下的英语课文辅助教学系统，包括：知识点录入模块，数据交互模 块，知识点展示模块； 所述知识点录入模块，用于以英文课本为索引，建立所述英文课本的教学知识库， 并将所述教学知识库存储于云端数据库中，在所述教学知识库中根据所述英文课本对应的 教材类型的知识结构建立相适配的存储结构，将所述英文课本的相关知识点存储于所述相 适配的存储结构中； 所述数据交互模块，用于通过包括具有显示屏、语音交互能力在内的智能设备，与 所述云端数据库进行数据交互，获取所述教学知识库中的所述英文课本的索引，并在所述 英文课本的索引中选中将要学习的所述英文课本； 所述知识点展示模块，用于通过AI设备在所述英文课本上，识别出通过包括划线 在内的手势指出的需要解惑的句子，并与所述智能设备进行通讯，所述智能设备在所述教 学知识库中获取与所述需要解惑的句子对应的所述相关知识点，将所述相关知识点在所述 智能设备上通过包括显示屏、语音在内的方式展示出来。 进一步地，所述知识点录入模块进一步包括： 录入界面建立单元，用于根据所述英文课文对应的教材类型，建立与所述教材类 型对应的一所述相关知识点的录入页面； 录入权限建立单元，用于在所述教学知识库中建立所述相关知识点的录入权限， 只有拥有所述相关知识点的录入权限的账户，才能对所述相关知识点进行包括录入，修改， 删除在内的操作。 进一步地，所述知识点展示模块进一步包括： 文本区域获取单元，用于提供给所述AI设备持续跟踪在划线过程中的手指位置， 获取连续多帧的手指位置的定位，并对所述连续多帧的手指位置附近的图像进行切割，作 为焦点文本区域； 特征线切割单元，用于通过由神经网络算法训练过的行特征线识别人工智能算法 对所述焦点文本区域内的图像进行各行的特征线识别，根据所述特征线切割出每一行的图 片信息； 图片信息分组单元，用于针对所述每一行的图片信息，根据文字的扭曲程度和扭 7 CN 111610901 A 说　明　书 4/10 页 曲方向进行文字分组，获得含有不同数量文字的文字图像块，并记录下所述文字图像块的 位置信息； 文字和标点获取单元，用于通过包括OCR算法在内的文字图像识别人工智能算法 对所述文字图像块进行识别，获取所述文字图像块内的文字和标点信息； 文本提取单元，用于根据所述文字图像块的位置信息整合所述文字和标点信息， 并使用自然语言处理获取焦点文本的句头和句尾，完成所述需要解惑的句子的提取。 进一步地，所述知识点展示模块还包括： 模糊匹配单元，用于通过手势划出所述需要解惑的句子的一部分，当在所述教学 知识库中获取与所述需要解惑的句子对应的所述相关知识点时，通过所述需要解惑的句子 的一部分与所述教学知识库中录入的句子进行模糊匹配，即可获取到对应的所述相关知识 点。 与现有技术相比，本发明包括以下至少一种有益效果是： (1)通过一种基于AI视觉下的英语课文辅助教学方法，具体包括：以英文课本为索 引，建立所述英文课本的教学知识库，并将所述教学知识库存储于云端数据库中，在所述教 学知识库中根据所述英文课本对应的教材类型的知识结构建立相适配的存储结构，将所述 英文课本的相关知识点存储于所述相适配的存储结构中；通过包括具有显示屏、语音交互 能力在内的智能设备，与所述云端数据库进行数据交互，获取所述教学知识库中的所述英 文课本的索引，并在所述英文课本的索引中选中将要学习的所述英文课本；通过AI设备在 所述英文课本上，识别出通过包括划线在内的手势指出的需要解惑的句子，并与所述智能 设备进行通讯，所述智能设备在所述教学知识库中获取与所述需要解惑的句子对应的所述 相关知识点，将所述相关知识点在所述智能设备上通过包括显示屏、语音在内的方式展示 出来。上述技术方案能够与课文相对应，在学习时通过简单的用手势指出课文中的内容，即 可在显示设备中显示英文句子解析的内容。 (2)通过根据英文课文对应的教材类型，建立与所述教材类型对应的一所述相关 知识点的录入页面，并在所述教学知识库中建立所述相关知识点的录入权限。能够根据不 同的教材类型设定与教材类型向匹配的录入界面，进而在数据库中的存储结构与教材类型 相匹配，学习起来将很容易，不需要载花时间去整理知识点。 (3)通过包括划线在内的手势指出需要解惑的句子，不需要人工的去录入需要解 析的句子，节约了学习的时间。 (4)通过手势划出所述需要解惑的句子的一部分，当在所述教学知识库中获取与 所述需要解惑的句子对应的所述相关知识点时，通过所述需要解惑的句子的一部分与所述 教学知识库中录入的句子进行模糊匹配，即可获取到对应的所述相关知识点。只需要选取 部分的句子，就能够识别出需要解析的句子，学生操作更加的容易。 附图说明 图1为本发明一种基于AI视觉下的英语课文辅助教学方法的整体流程图； 图2为本发明在具有显示屏或者具有语音交互能力的智能设备上，选择将要学习 的课本的示意图； 图3为本发明在具有AI视觉识别技术能力的设备下，通过划线等手势指出需要解 8 CN 111610901 A 说　明　书 5/10 页 惑的句子的示意图； 图4为本发明AI设备识别出句子后，与智能设备通讯，将教学内容展示出来的示意 图； 图5为本发明一种基于AI视觉下的英语课文辅助教学系统的整体结构图； 图6为本发明一种基于AI视觉下的英语课文辅助教学系统中知识点录入模块的结 构图； 图7为本发明一种基于AI视觉下的英语课文辅助教学系统中知识点展示模块的结 构图。