技术摘要：
一种内容提取和显示过程，所述过程可以包括用于以下的各种功能：将内容分段为可分析的部分、对这样的分段内的内容的相关性进行排名、以及以图形云形式显示排名高的提取。一些实施例中的图形云将随着内容被回放或获取而动态地且同步地更新。提取的元素可以是以下形式：  全部
背景技术：
基于音频、视频和/或文本的内容已变得越来越容易生成和递送。在许多商业、娱 乐和个人使用场景中，比可以容易地吸收和处理的多的内容被呈现给用户，但是在许多情 况下，仅内容的部分是实际相关的，并且值得实际的集中研究。诸如由本公开的所有者制作 的 系统的系统提供辨识并且提取A/V内容的重要部分以节省用户时间和精力的 工具。进一步级别的内容分析和信息提取可能对用户是有益的，并且是用户期望的。
技术实现要素：
本文中描述的示例实施例具有创新的特征，其中没有一个特征是不可缺少的或者 单独地负责它们的期望的属性。在不限制权利要求的范围的情况下，现在将总结有利的特 征中的一些。 在一些实施例中，可以提供内容提取和显示过程。这样的过程可以包括用于以下 的各种功能：将内容分段为可分析的部分，对这样的分段内和跨这样的分段的内容的相关 性进行排名，并且以图形云形式显示排名高的提取。一些实施例中的图形云将随着内容被 回放、获取或审阅而动态地更新。提取的元素可以是以下形式：字词、短语、非言语视觉元素 或图标、以及与图形显示兼容的传达数据对象的其它信息的宿主。 在本公开中，云元素是组成图形云的视觉组件，云透镜定义可以被显示的潜在的 云元素的集合，并且云过滤器定义用于对哪些云元素被显示进行优选顺序排列的排名。 可以提供用于从内容源提取并显示相关信息的过程，包括：从实时流或预先记录 的储存器中的至少一个获取内容；指定云透镜，所述云透镜定义分段持续时间或长度中的 至少一个，其中，所述分段包括时间或序列排序的云元素的总共数量的至少一个的全部或 子集中的至少一个；应用至少一个云过滤器以对与给定的分段相关联的每个云元素的显著 性水平进行排名；基于选择的预定的云元素密度定义针对给定的分段要在图形云中使用的 云元素的数量；构造至少一个图形云，所述图形云包括从所述内容导出的、由过滤的云元素 组成的可视化；以及，使所述云透镜滚动通过分段以显示显著的云元素的图形云。 在一个实施例中，云元素通过变换或分析中的至少一个被从源内容导出，并且包 括图形元素中的至少一个，所述图形元素包括字词、字词短语、完整的句子、图标、头像、表 情符号，其表示所讲或所写中的至少一个的字词或短语、所表达的情感、讲话者的意图、讲 话者的语调、讲话者的音调变化、讲话者的心情、讲话者改变、讲话者标识、对象标识、导出 的含义、活动的手势、导出的调色板、或者可以通过源内容或变换内容的变换和分析导出的 其它材料特性。在另一实施例中，执行滚动通过分段，其中，分段由连贯或者重叠的云元素 组定义。 4 CN 111615696 A 说　明　书 2/13 页 在一个实施例中，云过滤器包括以下中的至少一个：云元素频率，其包括指定的云 透镜分段内的出现数量、整个内容样本上的出现数量；字词权重；复杂度，其包括字母、音节 等的数量；句法，其包括基于语法的、词性、关键词、术语提取、基于上下文的字词含义、句子 边界；情感；或者音频或视频幅度的改变，其包括响度或电平变化。在另一实施例中，所述内 容包括音频、视频或文本中的至少一个。在一个实施例中，所述内容是文本、音频和视频中 的至少一个，并且音频/视频通过使用转录、自动转录或这两者的组合而被变换为文本。 在另一实施例中，变换和分析确定云元素的元素属性或元素关联中的至少一个， 所述元素属性或元素关联支持云元素的包括词性标签排名的云过滤器排名，或者当存在时 可以形成将多个下级云元素组合成单个复合云元素的基础。在一个实施例中，文本云元素 包括元素属性中的至少一个，所述元素属性包括词性标签，所述词性标签对于英语包括名 词、专有名词、形容词、动词、副词、代词、介词、连词、感叹词、或者冠词。 在另一实施例中，文本云元素包括基于以下中的至少一个的元素关联中的至少一 个：包括名词、形容词或副词的词性属性；及其相关联的具有包括代词、名词或形容词的对 应属性的字词云元素。在一个实施例中，提取基于语法的组成部分的句法分析被应用于变 换输出文本，所述变换输出文本包括至少一个词性、句子组成部分的解析、以及断句，所述 词性包括名词、动词、形容词和其它词性，其中，句法分析包括跟踪间接引用，包括基于词性 的关联，从而定义元素属性和元素关联。 在另一实施例中，提取单个字词的含义的句法分析被应用，包括以下中的至少一 个：识别专有名称；应用光学字符识别(OCR)以确定对应的文本、或包括关系提取的字词之 间的关联，从而定义元素属性和元素关联。在一个实施例中，数字信号处理被应用以生成包 括以下中的至少一个的度量：信号幅度、包括语音电平和语音电平范围(对于音频和视频) 的动态范围、视觉手势(视频)、讲话者标识(音频和视频)、讲话者改变(音频和视频)、讲话 者语调、讲话者音调变化、个人标识(音频和视频)、颜色方案(视频)、音高变化(音频和视 频)以及讲话速率(音频和视频)。 在另一实施例中，情感分析被应用以估计情感状态。在一个实施例中，所述云过滤 器包括：基于来自内容变换和自然语言处理分析的结果、从最高到最低按优先顺序排列的 词性元素属性：专有名词、名词、动词、形容词、副词和其它词性来确定分配给每个云元素的 元素-排名因子；以及将所述元素-排名因子应用于对图形云中的每个字词元素已经确定的 频率和复杂度云元素显著性排名。 在另一实施例中，所述过程可以进一步包括实现对包括字词、字词对、字词三元组 和其它字词短语的云元素的图形加权，其中，柔和的颜色和较小的字体被用于排名较低的 元素，并且较明亮的颜色和较大的字体方案用于排名较高的元素，其中基于元素排名的最 突出的云元素以最大、最明亮、最明显的图形方案显示。在一个实施例中，当当云透镜滚动 通过所述内容时，显示的分段是以下中的至少一个：连贯的，其中一个分段的结尾是下一个 分段的开头；或者重叠的，其提供所得的图形云基于有效的图形云中描绘的递增地改变的 云元素的集合的基本上连续的变换。 在另一个实施例中，所述过程可以进一步包括将云透镜定义的分段长度与云过滤 器的排名准则进行组合以定义显示的分段内的云元素的密度。在一个实施例中，所述云过 滤器可以包括将最高的排名分配给预定的关键词。在另一实施例中，预定的视觉处置可以 5 CN 111615696 A 说　明　书 3/13 页 被应用于关键词的显示。在一个实施例中，图形云中显示的每个元素可以与所述内容同步， 由此选择显示的元素将引起包含选择的元素的内容的回放或显示。 在一个实施例中，所述过程的云过滤器部分包括：基于来自内容变换的包括自动 语音识别(ASR)置信度分数和/或用于基于音频和视频的内容的其它的ASR度量的结果确定 分配给每个云元素的元素-排名因子；以及将所述元素-排名因子应用于对图形云中的每个 字词元素已经确定的云元素显著性排名。 附图说明 参照以下详细描述结合附图来描述本文中提供的实施例的方面和优点。在整个附 图中，附图标记可以被重复使用以指示引用的元素之间的对应关系。提供附图是为了例示 说明本文中描述的示例实施例，而非意图限制本公开的范围。 图1例示说明图形云系统的示例流程图。 图2例示说明从本公开的教导导出的示例图形云。 图3例示说明从本公开的教导导出的示例非英语图形云。 图4例示说明示例云元素。 图5例示说明图形云的示例视频显示。 图6例示说明图形云的替代示例视频显示。 图7例示说明图形云的示例音频显示。 图8例示说明当内容被播放、审阅或获取时的图形云显示的示例时间排序。