logo好方法网

一种实现通用人工智能的方法


技术摘要:
本发明申请公开了一种实现通用人工智能的方法。它提出只需要提取事物之间的相似性关系、时间关系和空间关系,在记忆和遗忘机制的优化下,就可以建立起事物之间的关系网络。它提出了把本能动机、收益和损失评估等信息也作为输入信息,并保持于记忆中。机器只需要整理记  全部
背景技术:
当前人工智能还处于专用人工智能阶段。这样的人工智能只能应用于单一领域, 难以把所学的技能应用于各种场景,也无法产生类似于人类的通用智力。当前人工智能的 训练和响应过程和人类的学习、思考和决策过程存在巨大差异。比如深度学习中通过优化 系数来寻找误差最小的多层映射。机器对中间层的特征是随机选择,通过误差函数来约束。 为了确保机器能选出合理的中间层特征,需要极其大量的数据来训练,而且训练好的模型, 难以迁移到训练领域之外运用。目前流行的深度卷积神经网络,虽然通过滤波的方式去掉 了部分细节,从而帮助机器得到更加合理的中间层特征选取,但它依然需要大量的训练数 据。机器最终的判断依据有可能是基于某些人类不会注意到的细节,所以训练的模型有可 能很容易被欺骗。目前的知识图谱工程,通过在大数据中提取文本或者概念之间的关联,来 帮助机器搜索时联系不同事物。但这些关系缺乏量化,缺乏一种方法来帮助机器利用这些 关系来自我学习、自我总结,并通过所学知识在日常生活中应用,来达到自己的目的。这些 方法和人类的学习方法差异很大,无法产生类似于人类的通用智能。 而本发明申请认为机器的智能应该基于信息理论,而不应该基于数据处理方法, 数据处理方法是为信息理论服务的。所以本发明申请提出的学习方法,是模仿人类学习过 程,通过记忆整理、记忆和现实重组和对重组后的信息模仿,在机器的动机驱动下,机器逐 步获得从简单到复杂的从输入到输出的响应,从而表现出和人类相似的通用智能。这些都 展现了本发明申请提出的机器学习方法和目前业界已有的机器学习方法存在巨大差异,目 前业界还没有与本发明申请相似的学习方法。
技术实现要素:
本发明申请提出了一种新的学习方法和实现步骤,下面做具体说明: 语音、文字是人类后天的产物,语言之外的信息才是我们天然的学习工具。比如通过图 像来认识世界,存在天然的优势。一,图像存在天然的相似性。通过相似度对比,机器可以对 图像自我分类。二,图像在生活中存在天然的逻辑关系,比如水和河流。三,通过图像学习, 存在天然的大数据可以利用。比如日常生活,图像无处不在。这样机器可以在通过日常生 活,自然而然的学习,这个学习过程类似于人类的学习过程。尽管通过图像学习是进化带给 我们的产物之一,但通过图像学习也存在天然的劣势。一,数据量过大。二,细节过多导致概 括性差。三,没有和其他传感器输入信息联系起来,比如语音、文字、触觉、嗅觉等。四,很多 概念没有图像来代表,比如热爱、恐惧、道德等抽象概念。 为了充分利用图像学习的优点,克服图像学习的缺点,本文提出了一种提取图像 的特征图,并以特征图为基础的学习方法。类似于图像,我们对其他传感器也提取特征,并 把这些特征和图像特征图同样对待。 4 CN 111553467 A 说 明 书 2/36 页 为了描述事物之前纷繁复杂的关系,在本发明申请中,我们只需要提取3种关系: 相似性、时间关系和空间关系。这就大大的简化了对事物之间纷繁复杂的关系的提取。机器 认为相似的事物之间存在关系;同时出现在同一空间中的信息,彼此存在关系;同时出现在 同一空间中的信息关系,构成一个横向的关系网络;不同的横向的关系网络之间,通过把相 似的信息连接起来,就构成了整个关系网络。在关系网络中的关系,随重复出现的次数增加 而增加;关系网络中的关系,随时间的增加而递减;通过这样的机制,我们就把那些能够重 复出现关系总结出来,并形成认知。代表认知的就是关系网络。 所以,本发明中,处理信息的过程,就是把输入信息翻译成机器能够理解的特征图 序列,然后使用关系网络和记忆库来处理这些特征图序列,然后把处理后的特征图序列翻 译成需要的输出形式,比如语音、文字或者动作输出。 (一)本发明申请中涉及到的概念定义。 为了简明的说明本发明申请的主要步骤,我们首先定义本发明申请中涉及到的概 念。后面在应用这些概念时,本发明申请不再进一步解释。 底层特征:是指机器在事物之间,通过寻找局部相似性而得到的一些普遍存在于 事物之间的特征。比如对图形而言,这些底层几何特征主要包括局部边缘、局部曲率、纹理、 色调、脊、顶点、角度、曲率、平行、相交、大小、动态模式等普遍存在于图形中的局部特征。对 于语音而言就是普遍存在于语音中的音节特征。对于其他传感器输入也是做类似处理。底 层特征是机器自主地通过局部相似性而建立的。在使用这些底层特征的过程中,机器可以 通过关系提取机制(比如记忆和遗忘机制),也可以通过人为干预对它们进行增减。 特征图:在有了提取底层特征能力的基础上,我们通过关系提取机制,在多个类似 事物、类似场景和类似过程中提取其中的共有底层特征组合,这些共有特征组合就是特征 图。特征图可以是图像底层特征图、语言底层特征图和其他传感器底层特征图,可以是静态 的,也可以是动态的。比如机器把每一次提取到的底层特征组合保留下来后,采用记忆和遗 忘机制增减:那些在每一次提取过程中重复出现的底层特征增加记忆值,而那些不能重复 的底层特征被逐渐遗忘,使得这些每一次提取的底层特征组合构成的多个简图最终只保留 下共有底层特征组合。 概念:多个特征图构成的局部网络就是概念。概念包含多个特征图和这些特征图 之间的关系。概念包含的特征图不一定相似。它们有可能是不同特征图,通过记忆和遗忘机 制而连接起来的。 连接值:在本发明申请中,认知网络中两个特征图之间可以建立连接。这些连接是 有方向和大小的。比如特征图A到与它存在关联的特征图B之间的连接值为Tab。同样,特征 图B到与它存在关联的特征图A之间的连接值为Tba。Tab和Tba都是实数,他们的值可以相同 或者不相同。 关系提取机制:能够在多个类似图像、类似场景和类似过程中提取其中的共有特 征组合的机制,就是关系提取机制。关系提取机制包括但不限于目前本领域已有的各种形 式的多层神经网络、基于规则、逻辑分析、监督或者半监督学习等方法,也包括本发明申请 中提出的记忆和遗忘机制。 记忆函数:是指某些数据随重复次数增加而增加。具体的增加方式可以采用一个 函数来表示,这个函数就是记忆函数。需要指出,对不同类型的数据可以采取不同的记忆函 5 CN 111553467 A 说 明 书 3/36 页 数。 遗忘函数:是指某些数据随时间和训练时间增加而递减。具体的减小方式可以采 用一个函数来表示,这个函数就是遗忘函数。需要指出,对不同类型的数据可以采取不同的 遗忘函数。 记忆和遗忘机制:在本发明申请中,对数据使用记忆函数和遗忘函数,就是记忆和 遗忘机制。记忆和遗忘机制是本发明申请中广泛使用的关系提取机制。 认知网络:认知网络是由不同概念通过共有特征图而形成的网络。它是双向连接 的多中心星形网络。认知网络的本质是机器对过去所有记忆,通过记忆整理而形成的网络。 认知网络在本发明申请中可以是单独的网络形式。也可以是隐含在整个记忆库中的关系。 采用双向连接值的目的是因为特征图之间的连级关系并不是对等的。所以我们需 要采用双向连接值来表述。采用双向连接值的另外一个原因是:在链式激活中,当一个节点 传递激活值给另外一个节点,并将其激活后,为了避免两个节点之间反复彼此激活,我们采 用在同一次链式激活过程中,A到B传递后,B到A的反向传递就被禁止。 链式激活:当信息输入时,机器搜索认知网络和记忆库,找到相应的底层特征,并 根据动机来赋予其激活值。当某个节点(i)被赋予一定的激活值(实数)。如果这个值大于自 己的预设激活阈值Va(i),那么节点(i)将被激活。它会把激活值传递到和它有连接关系的 其他特征图节点上。传递系数在认知网络中是连接值的函数,在记忆库中是传递线两端的 记忆值的函数。如果某个节点收到传过来的激活值,并累计上自己的初始激活值后,总激活 值大于自己节点的预设激活阈值,那么自己也被激活,也会向和自己有连接关系的其他特 征图传递激活值。这个激活过程链式传递下去,直到没有新的激活发生,整个激活值传递过 程停止,这个过程称为一次链式激活过程。 链式激活是一种搜索方法,是寻找和某些底层特征组合最相关的特征图的一种方 法。也是寻找和某些特征图最相关的概念的一种方法。也是用于寻找和某些概念最相关的 一段或者多段记忆(经验)的一种方法。也是寻找和某些动机最相关的概念的一种方法。所 以链式激活的方法本质上是一种搜索或者查找方法,它可以被能够实现类似功能的其他搜 索或者查找方法代替。 认知网络中连接值是一个0~1之间的实数。0代表没有连级关系。1代表对等连接 关系。比如物体的名称和特征图之间连接值通常就是1。这些连接值是各自代表中心特征图 的能力,它们彼此之间并没有限制。比如这里没有一个概念节点周边的连接值之和必须为1 的限制。需要指出,这里连接值采用0~1之间的实数,目的是避免链式激活过程中,链式激 活过程出现不收敛的现象。这是因为在我们的实施例中,我们采用最简单的乘法作为传递 函数。如果采用其他传递函数,连接值可以采用其他的区间范围,但选取的总体约束是:传 递出去的激活值,需要小于发起激活节点的激活值。这样才能保证链式激活过程最终能停 止下来。 凸显:当对输入的底层特征在认知网络或者记忆库中完成搜索后,如果有一个或 者多个特征图获得一次或者多次标记,在认知网络或者记忆库中“凸显”出来。机器就把这 些特征图作为可能的识别结果。并用它们来组合和分割输入特征,来比较输入特征组合和 搜索到的特征图之间的整体相似性,作为进一步判断相似性的标准。比如在采用链式激活 作为搜索方法时,如果某些特征图的激活值比整个认知网络的激活值噪声底高出预设阈 6 CN 111553467 A 说 明 书 4/36 页 值,那么我们就认为这些特征图被“凸显”出来。认知网络的激活值噪声底可以有不同的计 算方法。比如机器可以依据场景中大量的背景特征图节点的激活值作为激活值噪声底。机 器也可以采用目前被激活的节点的激活值平均值作为噪声底。机器也可以采用自己预设一 个数字作为激活值噪声底。具体的计算方法需要在实践中优选。这些计算方法只是涉及到 基本的数学统计方法,对本领域的从业人员而言是公知的知识。这些具体实现方法不影响 本发明申请对方法和步骤的框架权利要求。 镜像空间:机器进入一个环境后,通过提取图像、语言和其他传感器输入的底层特 征来识别具体的事物、场景和过程。并把在记忆中找到的同类事物特征、场景特征和过程特 征和现实中相似部分重叠,于是机器就能够推测目前事物、场景和过程暂时看不见的部分。 包括事物被遮挡的部分,包括场景被遮挡的部分,包括一个过程没有被机器看到的前后部 分。由于事物的大小是特征图的内容之一,所以机器也使用视野中的具体事物的大小和特 征图中事物正常的大小相比较,来协助机器建立环境中的景深。这也是通过记忆来帮助理 解信息的过程。机器通过对把现实环境的自身视角和记忆环境的第三者视角的相似部分重 叠,建立的重叠空间来确定自己和环境的位置关系。所以机器对自己在环境中的位置,是同 时具有第一人称视角和第三人称视角的。这就是这样的重叠空间被称为镜像空间的原因。 机器在识别了输出信息的特征图后,通过特征图调用记忆,来建立镜像空间。机器 随后通过分段模仿,来重组记忆和输入信息,组成新的信息序列来理解输入信息和建立输 出响应。这也是新记忆的产生过程。机器存储新记忆的过程,也是存储镜像空间的过程,存 储的内容不是对输入信息的录制,而是存储提取的底层特征和它们更新后的记忆值。 记忆帧:在镜像空间中,每发生一次事件,机器就把这个镜像空间做一个快照,保 存下来。保存下来的内容包括镜像空间中的底层特征和它们的记忆值,这就是记忆帧。镜像 空间中发生一次事件,是指镜像空间中底层特征组合和前一个镜像空间相比较,发生了超 过预设值的相似度的改变,或者镜像空间中底层特征的记忆值发生了超过预设值的改变。 记忆存储:记忆存储是指机器对整个镜像空间的存储,包括所有提取到的底层特 征和它们的组合关系(包括相对位置关系),以及这些底层特征所拥有的记忆值。 记忆库:记忆存储形成的数据库就是记忆库。 临时记忆库:记忆库可以是多个下属记忆库的组合。这些下属记忆库可以采用不 同的记忆和遗忘曲线。临时记忆库可以是下属记忆库之一,其目的是对记忆存储的缓冲和 对需要进入长期记忆的材料进行筛选。 本发明申请中,我们采用有限容量的堆栈来限制临时记忆库容量的大小,并采用 记忆和遗忘来维护临时记忆库。临时记忆库通常采用快速记忆和快速遗忘的方式,来对准 备放入长期记忆库中的材料进行筛选。机器在面对大量的输入信息时,那些已经习以为常 的事物、场景和过程,或者远离关注点的事物、场景和过程,机器对它们缺乏深入分析的动 机,所以机器可能不去识别这些数据,或者赋予给它们的激活值很低。机器按照事件驱动的 方法把信息存入临时记忆库时,机器对新特征或者新特征组合赋予的记忆值和其激活值正 相关。那些记忆值低的记忆有可能很快就从临时记忆库中被忘记,而不会进入长期记忆库。 这样我们只需要把那些我们关注的信息放入长期记忆库,而不用把每天琐碎的、不需要再 提取连接关系的事物都记忆下来。另外,因为临时记忆库容量有限制,所以临时记忆库也会 因为堆栈容量接近饱和而被动加快遗忘速度。 7 CN 111553467 A 说 明 书 5/36 页 关系网络:关系网络是指存在于记忆中的特征图彼此之间的关系构成的网络。它 是机器提取输入信息的相似性、时间关系和空间关系后,并通过记忆和遗忘机制优化后的 产物。它的表现形式可以是带连接值的认知网络,或者是带记忆值的记忆网络,或者是两者 的混合形式。 关注点:关注点就是机器通过输入信息,在关系网络中找到一到多个和输入信息 最相关的特征图。比如采用链式激活搜索方法时,激活值最高,并能凸显的一到多个特征 图。 目标关注点:机器根据自己的动机,选取用来组织输出的特征图就是目标关注点。 分段模仿:分段模仿的本质是一个使用记忆和输入信息重组的过程,是一个创造 的过程。它利用记忆中的一些片段和局部,和输入信息一起组织成一个或者多个合理的过 程。记忆中能长期存在的内容通常是经常使用的内容,比如经常使用的常用语、常用动作或 者常用表达组织方式等。这些经常使用的组合相当于事物、场景和过程的过程框架,它们是 通过记忆和遗忘机制优胜劣汰而形成的。机器借用这些过程框架,增加上自己的细节,就构 成了形形色色的新过程。机器利用逐步分段模仿这个新过程来理解输入信息和组织输出响 应。 (二)本发明申请中概念之间的关系。 整个智能体系分为三个大的层次;第一个层次是感知层,它是通过相似性为标准 来建立特征图,对输入信息做简化;第二个层次是认知层,它识别那些能重复出现的,在类 似事物、场景和过程中共有的部分和共有关系,它是建立时间和空间关系的过程,它和相似 性一起组成关系网络;第三个层次是应用层,它利用关系网络作为词典,来做特征图之间的 翻译;它利用关系网络作为语法,来把输入/输出信息从一种形式翻译成另外一种形式;它 利用关系网络来重组记忆和现实的信息,来理解输入信息,来组织输出响应;也利用关系网 络和记忆来在多种可能的输出响应中权衡利弊,做出选择。它同时也是实现记忆和遗忘机 制的过程。 在本发明申请中,机器的本能动机是作为一种持续输入的信息来处理的;在机器 处理信息中,机器的本能动机是默认的输入信息;机器的本能动机是一种预置动机。在本发 明申请中,机器对收益和损失的评估结果作为一种默认的输出,并使用收益符号和损失符 号来分别代表收益和损失,把它们存储于记忆中。每段记忆中,具体的收益和损失符号每次 获得的记忆值和它们获得的收益值和损失值正相关。 (三)本发明申请中通用人工智能实现步骤。 图1为本发明申请提出了一种实现通用人工智能的主要步骤。这些步骤是本发明 申请的第一方面,这里对图1中的步骤做进一步详细说明: 步骤S1:建立特征图库,建立提取模型。机器通过寻找局部相似性来建立底层特征图 库,并建立提取这些底层特征图的算法模型。这是数据处理的前期准备过程。 步骤S2:提取底层特征。机器对所有传感器的输入信息做底层特征提取,并按照底 层特征和原始数据相似度最高的位置、角度和大小,来调整底层特征的位置、角度和大小, 把它们和原始数据重叠放置,这样就能保留这些底层特征在时间和空间上的相对位置,并 建立镜像空间;这个步骤是对输入信息的简化过程。 步骤S3:识别输入信息。机器寻找关注点。这个过程是识别输入信息,去掉歧义,并 8 CN 111553467 A 说 明 书 6/36 页 做特征图翻译的过程。它类似于在语言翻译过程中,利用上下文来识别信息源发出的信息 词汇,并把识别出来的词汇,翻译成另外一种语言的词汇。 步骤S4:理解输入信息。机器把关注点组织成一个或者多个可以理解的序列。这个 过程类似于语言翻译中,把目标语言的词汇,利用语法重新组织成可以理解的语言结构。这 个步骤采用的具体方法是分段模仿。 步骤S5:选择响应。机器把翻译后的输入信息,加入自己的动机,寻找目标关注点。 机器利用关系网络和记忆建立对输入信息的响应;并使用收益和损失评估系统对响应做评 估;直到找到能通过评估系统的响应为止。这是机器在趋利避害的原则下,做各种输出的预 设,并评估收益和损失。 步骤S6:把响应转换为输出格式。机器把选择出来的序列,通过分段模仿,转化为 输出形式。 步骤S7:更新数据库。机器根据步骤S1、S2、S3、S4、S5、S6中对数据的使用情况,按 照记忆和遗忘机制对特征图、概念、关系网络和记忆进行更新。 以上步骤中,S1和S2是对信息的简化,它的本质是:“某些方面相似的东西,可能在 其他方面也相似”,这就是相似性关系基本假设。我们的大脑正是采用相似性来给事物分 类,这是人类与生俱来的能力。分类的作用是经验的泛化。比如某个东西是能食用的,和它 看上去、闻上去相似的东西可能也是能食用的。没有这种能力,就不可能产生智力。所以在 S1和S2步骤中,我们通过寻找类似事物中的局部相似性,来建立底层特征,用于对比事物之 间的相似性。 由于这个世界上没有两样事物是完全一样的,所以相似性对比是一个去掉细节, 比较核心信息的过程。所以,我们通常需要把输入信息做预处理,把事物的轮廓(特定的边 缘)、动态(变化模式)、纹理等信息提取出来作对比。这也是进化带给生命的礼物,因为我们 正是处于这样一个世界:那些轮廓、动态模式和纹理等属性相似的东西,其他方面确实很可 能也相似。如果我们处于一个物体的形态、纹理和动态模式可以任意变化的世界,我们可能 需要发展出不一样的大脑思维方式,也包括不一样的底层特征提取方法。同理,在那样的世 界,我们也需要发展出不一样的人工智能。在有了先天对比相似性的基础能力后,人类才通 过后天的学习,建立语言符号,不断的总结经验,把人类分类的能力向更概括、更细微两端 推进,并给这些分类赋予语言符号来代表。也用语言符号来表示这些概念之间的关系,这就 是我们能领先于动物的地方。 人类的智力是一种进化的结果。我们的祖先,在没有语言符号产生之前,他们探索 世界时,一定是使用图像、声音、气味等基础传感器给他们的信息来认知这个世界,并通过 这些信息来对比相似性。在本发明申请中,我们采用同样的方法,把所有输入的信息,重新 还原到我们祖先的思维方法上去,进行信息处理。这是因为进化过于漫长,相比祖先,我们 并没有进化出新的底层信息处理方式,而是通过语言,在底层信息处理方式的上面,增加了 一层底层信息和语言之间的转换工具。通过语言这个层次,我们把看上去、听上去、闻上去、 品尝上去等并不相似的信息建立某种联系,并把这种联系传承给我们的后代。 想想说着不同语言的民族甚至不同的人种,但他们思维相通、行为类似,这些都表 明我们的底层思维是和语言无关的。这也是本发明要建立底层特征图的目的。底层特征图 是提取图像、声音和其他传感器输入信息中的相似性,来建立分类,并使用这些分类,来代 9 CN 111553467 A 说 明 书 7/36 页 表不同类别的信息。它们和语言无关,它们的目的是把输入信息中可以简化的部分简化掉, 为后续信息处理做预处理。 我们认为事物出现的时间和空间是一种关系。这样的关系也是显而易见的,因为 存在时间关系的事物,常常和同一个过程相联系。比如一只野兽冲向我们的祖先,这时不仅 仅有野兽图像,还可能有野兽的运动模型,还可能有特定的声音,还可能有特定的环境信 息,这些信息同时进入我们的祖先的信息处理系统,经过多次类似的处理后,我们的祖先就 会把这些能够重复的,同时出现或者存在时间次序的信息联系起来,作为经验,来更好的适 应环境,寻求生存。同样,事物同时出现的空间也是一种关系。比如鱼和水,洞穴和动物,太 阳和白天等信息。这些信息之所以能同时同地出现,是因为它们确实有内在的联系,所以它 们才会同时同地出现。我们的祖先通过记忆和遗忘,来总结这些关系,把那些能反复出现的 信息之间联系存入长期记忆,提高了生存机会。所以记忆和遗忘机制也是进化带给我们的 礼物。 所以在本发明申请中,我们采用镜像空间,来保存信息。镜像的意思是我们保存的 是对外界的镜像数据,使用的是底层特征代替原始数据,把底层特征按照和原始数据最相 似的位置放置,这就保留了相似性关系。镜像空间也存储机器本身的一些信息,比如动机, 比如收益和损失计算结果。在本发明申请中,我们是把这些信息使用一种底层特征符号来 代表的,所以把它们也按照其他底层特征一样对待。 当我们采用镜像空间的方式来存储信息,就是把我们所得、所感的信息上的时间 关系和空间关系,和信息一并存储下来。再通过记忆序列中的相似信息把每段记忆串接起 来,也就把相似信息的时间和空间关系串接起来了,这就构成了一个立体的关系网络。但我 们还必须寻找那些共性关系,而去掉那些不能重复的干扰信息。而完成这一步的方法就是 记忆和遗忘机制,这是一个去伪存真的过程。 这样,我们不为事物之间纷繁复杂的关系所干扰,而直接通过三个要素:相似关 系、时间关系和空间关系,并使用重复性来量化这些关系,把事物之间纷繁复杂的关系简 化,建立起它们之间的关系网络。 如果我们把记忆看作是一个包含了无数底层特征图的立体空间,那么关系网络, 就是这个空间中的脉络。这些脉络的出现,是因为记忆和遗忘机制,那些不能重复出现的关 系被遗忘了,而那些能重复出现的关系得到加强。那些通过粗大的关系脉络连接起来的特 征图就组成了概念。概念是一个局部网络,它连接同类信息的图像、语音、文字或者其他任 何表达形式。由于这些表达形式频繁出现在一起,并频繁相互转换,所以它们之间的连接更 加紧密。关系网络中还有一些能重复出现的组合,它们之间的联系没有概念那么紧密,但我 们可以通过模仿这种组合来使用它们,我们称它们为过程框架。如果把记忆看着是一个立 体的产品存储仓库,那么概念就是这些产品中频繁使用的小部件,而过程框架就是一些中 间件,而一段具体的记忆就是一个产品。小部件、中间件和那些各种零件共同组成了整个记 忆仓库中的所有产品,它们在产品中广泛存在。而识别出它们的就是记忆和遗忘机制,体现 它们的就是关系网络。 在S2步骤中,为了提高效率,我们只需要识别我们感兴趣的区域,采用适合我们预 期事物的识别精细程度就可以了。这就是在S1和S2中,我们使用大小不同的数据提取窗口 来反复提取数据的底层特征的目的。在S2中,我们感兴趣的区域和采用的识别精度都来自 10 CN 111553467 A 说 明 书 8/36 页 于机器的本能动机和继承动机,它们是机器在自身需求和活动目标的双重作用下来建立 的,在后续会做详细说明。 正是因为我们需要保留事物之间的相似性、时间和空间关系,所以我们采用一种 称之为镜像空间的方法,来建立这个大量底层特征构成的立体空间。这些底层特征包括:所 有外部信息的传感器输入,包括但不限于视频、音频、触觉、嗅觉、温度等;也包括所有内部 信息,包括本能动机状态、利益损失评估结果、重力感应和姿态感应信息等。本能动机的不 同状态可以用情绪来代表。每一次记忆中,本能动机都是一种给输入信息赋予初始激活值 的底层特征。本能动机是一种预置动机,但它的参数受到收益和损失评估结果的调整。它的 不同状态,反应了机器的一种情绪,也一并存储在镜像空间中。那么当我们通过多个镜像空 间重组时,每个空间都带有自己的情绪,也带有自己的收益和损失评估结果。机器自然就可 以采用加权求和的方式,来预估重组后的镜像空间带个我们的情绪反应和带给我们的收益 和损失的评估结果。 重组中使用的各种组件,它们联系着众多各自原先的记忆,这些记忆会因为组件 的激活而被链式激活,这就是联想。机器调用镜像空间时,是和处理传感器信息类似的方法 来处理这些记忆信息。所以,同样可以采用视差,采用事物之间相对大小的方法,来建立景 深,来把这些数据建立一个立体的图像序列。机器是以第三人称视角来观看这些记忆的,所 以它能把自己或者他人带入自己创建的虚拟镜像空间中的角色。带入的方法就是:1,自己 来处理虚拟空间中自己面对的情况。2,自己来处理虚拟空间中,他人面对的情况。而处理的 方法,就是把这些情况作为一种假设的输入信息,来走自己平时处理传感器输入类似数据 的流程。 因为重力感应是持续输入的信息,它存在于所有记忆之中。它和记忆中的所有事 物都有连接关系,并且这些关系由记忆和遗忘机制来优化。这些图像和重力感应之间的方 向关系是广泛的存在于这些记忆中,所以我们会对上下颠倒非常敏感,而对左右颠倒却没 有那么敏感。这是因为上下颠倒导致我们找不到熟悉的特征图组合方式,使得我们不得不 提高注意力进行第二次识别,在第二次时,我们可能通过扩大记忆搜索范围,或者通过角度 旋转来找到对应的特征图,这要求我们付出更多的注意力,这就是我们对上下颠倒如此敏 感的原因。 当我们处于现实环境中,我们调用镜像空间时,是把镜像空间和现实空间重叠,或 者是调用多个镜像空间中的局部,来和现实空间的局部重叠。这样,我们就能根据被借鉴的 镜像空间的其他部分,来了解现实空间中目前看不到的部分。这里面包含:1,包括空间上暂 时看不到的部分,机器可以通过想象(镜像空间调用)而补上这一部分。比如,柜子里面的图 像。2,包括在时间上看不到的部分。比如故乡的食物引发了我们对故乡的记忆。这是一种记 忆利用过程。在S4、S5和S6步骤中,我们会大量的运用这样的方法,来理解输入信息,来选择 符合我们目标的响应,来建立输出响应。 镜像空间中数据的具体存储方式,是底层特征按照和原始数据最匹配的组合方 式,每发生一个事件就存储一次数据。可以近似认为底层特征是2维数据压缩,而事件存储 机制就是一种数据在时间上的压缩。它们也可以被其他数据压缩方法代替或者部分代替。 但无论哪种方法,都必须保留事物的相似性、时间和空间关系。同时,我们还把对应时刻的 机器本能动机状态、机器利益损失评估结果、机器重力感应和姿态感应等机器内部信息也 11 CN 111553467 A 说 明 书 9/36 页 一并存储。这些存储在镜像空间中信息,包括外部信息和内部信息,都是带有自己的记忆值 的,它们也遵守记忆和遗忘机制。大量的这种按照实际顺序存储下来的镜像空间,就是记 忆。机器按照事件驱动的方式来记录,就是说只有镜像空间上发生了一个“事件”,机器才需 要再次记录镜像空间。而镜像空间中发生一次事件,是指镜像空间中底层特征组合和前一 个镜像空间相比较,发生了超过预设值的相似度的改变,或者镜像空间中底层特征的记忆 值发生了超过预设值的改变。机器在调用记忆时,机器通过双目视差,通过特征图的相对大 小,通过关注区域的大小,来重新构建合适大小的立体图。 S3步骤的目的是寻找关注点。寻找关注点的方法很多。比如通过相似度对比在记 忆中寻找底层特征图,每找到一个就对其做标记。当记忆中某一个底层特征组合包含的标 记达到预设阈值,于是就认为它可能是对应的特征图候选者。机器参照这个特征图的整体 来对输入底层特征做分割,并进一步比较两者之间的特征组合方式的相似性。这个过程不 断进行下去,就能找到所有的特征图候选者。然后根据这些特征图候选者彼此间的连接紧 密程度,在多个候选者对应一个输入的情况,选用和其他信息连接最紧密的特征图作为最 可能特征图,它们就是关注点。这个过程既可以在所有底层特征处理完后再根据标记和连 接关系来确定关注点,也可以在任何特征图达到预设标准时优先识别。 除了相似性对比,本发明申请中提出另外一种方法:链式激活方法。这是本发明申 请中提出的一种基于关系网络搜索特征图、概念和相关记忆的方法。在关系网络中,当特征 图i被赋予初始激活值,如果这个值大于自己的预设激活阈值Va(i),那么特征图i将被激 活,它会把激活值传递到和它有连接关系的其他特征图节点上;如果某个特征图收到传过 来的激活值,并累计上自己的初始激活值后,总激活值大于自己节点的预设激活阈值,那么 自己也被激活,也会向和自己有连接关系的其他特征图传递激活值,这个激活过程链式传 递下去,直到没有新的激活发生,整个激活值传递过程停止,这个过程称为一次链式激活过 程;在单次链式激活过程中,但特征图i到特征图j发生激活值传递后,特征图j到特征图i的 反向传递就被禁止。 需要进行链式激活时,机器通过给提取到的底层特征,按照自己的动机给输入底 层特征图赋予一个初始激活值。在单次初始激活值赋值中,这些初始激活值可以是相同的, 这样可以简化初始值赋值系统。这些节点在得到初始激活值后,会启动链式激活过程。在链 式激活过程完成后,机器选取激活最高,并能凸显出来的特征图,把它们作为关注点。这个 方法充分利用了关系网络中的关系,是一种高效率的搜索方法。 但这里需要特别指出,由于存在激活阈值,所以即使特征图之间传递系数是线性 的,特征图的累计函数也是线性的,但由于激活阈值的存在,无论是在单次链式激活过程 中,还是在多次链式激活过程中,相同特征图和相同初始激活值,但因为激活次序选择不一 样,最终的激活值分布是不一样的。这是因为激活阈值的存在带来的非线性。不同的传递路 径,带来的信息损失是不一样的。激活次序选择的偏好,这相当于机器个性的差异,所以在 相同输入信息下,产生不同的思考结果,这个现象和人类是一致的。 另外,关系网络中的关系强度和最新的记忆值(或者连接值)是相关的。所以机器 会有先入为主的现象。比如拥有同样的关系网络的两个机器,面对同样一个特征图和同样 的初始激活值,其中一个机器突然处理了一条关于这个特征图的输入信息,那么这个机器 在处理了额外的这条信息后,它会更新关系网络中的相关部分。其中某一个关系线可能会 12 CN 111553467 A 说 明 书 10/36 页 按照记忆曲线增加。这个增加的记忆值在短时间内不会消退。所以在面临同样的特征图和 同样的初始激活值时,处理了额外信息的机器,将会把更多的激活值沿刚刚增强了的关系 线传播,从而出现先入为主的现象。 另外,为了合理地处理信息输入的先后次序,确保后面输入的信息带来的激活值, 不会被前面的信息所屏蔽,在本发明申请中,链式激活中的激活值,会随时间而递减。因为 如果关系网络中的激活值不随时间消退,后面信息带来的激活值变化就不够明显,这会带 来信息间干扰。如果激活值不消退,后面的信息输入后,会受到前面信息的强烈干扰,导致 无法正确的寻找自己的关注点。但如果我们完全清空前面信息的记忆值,那么我们又丢失 了前后两段信息可能存在的连接关系。所以,在本发明中,我们提出采用渐进消退的方法来 实现前后段信息的隔离和连接之间的平衡。这个消退参数需要在实践中优选。但这带来了 维护一个信息的激活状态的问题。如果我们在S3中找好了关注点,但在S4步骤中,迟迟无法 完成信息理解,或者在S5中,迟迟无法找出满足机器收益和损失评估系统的响应方案,随时 间流逝,这些激活值就会消退,导致机器遗忘了这些关注点,忘了自己要干什么。这时机器 需要把这些关注点的激活值再次刷新。一种刷新方法是:把这些关注点转变成虚拟输出,再 把这个虚拟输出作为信息输入,走一遍流程,来强调这些关注点,这就是我们在思考时,为 什么有时候,不理解时或者找不到思路时,喜欢喃喃自语,或者自己在心中默念。另外,在这 种情况下,如果出现新的输入信息,机器不得不打断思考过程,去处理新的信息。所以,从节 省能量的角度看,机器是倾向于完成思维,避免浪费的。这时机器可能会主动发出“嗯… 啊…”等缓冲辅助词来发出输出信息,表示自己正在思维,请勿打扰。还有一种可能是给予 机器的思考时间有限,或者信息过多,机器需要尽快完成信息响应,这时机器也可以采用输 出再转输入的方式。通过一次这样的方式,机器就强调了有用信息,抑制干扰信息。这些方 式在人类普遍使用,在本发明申请中,我们也把它也引入机器的思维。机器可以根据内置的 程序,或者自己的经验,或者两者混合,来确定是不是目前的思考时间超过了正常时间,需 要刷新关注信息,或者告诉别人自己正在思考,或者强调重点,排除干扰信息。 另外,为了正确的确定特征图和特征图之间的连接强度,一种方法就是:同一个特 征图发出的连接值强度彼此之间没有限制,但在激活过程中,为了正确的处理特征图和它 的属性之间的关系,特征图的激活值传递函数可以考虑归一化传递。假设特征图X的激活值 为A,它所有发出方向的连接值之和为H,它向特征图Y的传递值是Txy,那么一种简单的激活 值传递就是Yxy=A*Txy/H。其中Yxy为X特征图向Y特征图传递的激活值。 由于人类交流最频繁的是语音和文字,所以一个概念的局部网络中,语音和文字 通常和这个概念中所有属性相连。概念的属性就是概念的所有特征图,这些特征图可能包 含记忆中很多类似的图像,都和一类图像连接的各种语音、气味和触觉等等。这些特征图从 关系网络的各个支路获得激活值,并都向语音或者文字传送,所以通常的关注点就是概念 的语音和文字。所以,机器的自我信息过滤或者强调的方法,虚拟输出通常是语音,因为这 是最常见的输出方式。机器输出它们耗能最少。当然,这和一个人的成长过程密切相关。比 如,从书本中学习生活的人,有可能是把信息转变成文字,再重新输入。 通过S3步骤,机器找关注点后,机器进入S4步骤。在S4步骤中,机器需要把关注点 转变成图像特征图。这个转变过程就是概念翻译。概念就是彼此连接紧密的局部关系网络。 在这个网络中,可能存在语音、文字和代表一个概念其他形式信息。对人类而言,除了语言 13 CN 111553467 A 说 明 书 11/36 页 外,其他信息都是保留其原始形态的,比如图像、感觉和情绪等。机器要翻译的主要就是语 言。所以,机器使用和对应语言联系最紧密的特征图代替语言,就可以把语言翻译成对应的 特征图。比如把“幸福”这个语音转换为“幸福”这个概念下,能代表幸福的典型记忆。 然后,机器需要把这些特征图组合起来,并成一个可以理解的序列。基本上,S4步 骤就是把代表输入信息的图像特征图(包括静态特征图、场景特征图和过程特征图)做适当 的次序调整,并通过增减部分内容,形成一个合理的序列。而调整的依据就是模仿记忆中这 些信息的组合方式。 这个过程就好像仓库管理员,把输入的图纸,找到对应的零部件,然后模仿以前的 产品(就是多段记忆),把这些对应零部件组合起来。然后来理解这个图纸的目的。理解时, 先根据这个图纸,找到需要的零部件(这就是概念翻译)。然后看看这些零部件以前是怎么 组合在一起的(这就是寻找相关记忆)。机器可能发现这堆零部件中,有一些零部件的组合 频繁出现的以前的各种产品中(就是记忆中,那些通过记忆和遗忘机制保留下来的,类似事 物中的共有特征图组合)。于是,机器优先选择那些包含输入信息最多的大部件,然后参考 最大概率,把其他零部件组合起来。有些零部件可能组合成另外一个大部件。有些零部件可 能是附加到其中的大部件上。这些组合方式都是通过参考关系网络,按照零件之间、部件之 间关系、大部件之间连接关系最强的方式去组合,最终形成一个产品(类似于记忆中的一段 虚拟过程)。 机器面对这个自己创建的虚拟过程,机器把这个虚拟过程作为一种信息输入,利 用关系网络来搜索和这个虚拟过程相关的记忆。通过把这些记忆也纳入目标响应的选择范 围中,机器通过收益和损失评估,就能选择出符合自己动机的响应。和虚拟过程相关的过程 包括:以前自己在面对类似的过程,自己的状态时什么,然后自己的响应是什么。以前自己 发出类似的过程,别人的状态是什么,被人的响应是什么。这些都可以通过记忆找到,并把 这些记忆纳入目标响应的组织范围。具体为:1,通过回忆以前信息源发出类似信息时的状 态,理解信息源在信息之外的隐含信息。信息源发出这个信息时的状态,包含了信息源为什 么发出这个信息。2,通过自己以前收到类似信息后,做出的响应,来推测信息源的目的。信 息源发出这样的信息,一定是基于机器以往在这个信息下的响应,这就是信息源预期的目 的。否者,信息源没有必要发出这个信息。3,通过机器在什么状态下会发出类似的信息的记 忆,对信息源进行“共情”。就是调用自己发出类似信息的状态,来进一步理解信息源更多可 能的隐含信息。4,通过自己发出类似信息后,收到的反馈,来评估如果满足信息源的预期 下,带给自己的收益和损失结果。机器把这4类记忆都纳入相关记忆池中,并使用相关记忆 池中的零部件来组合成自己的各种可能响应,并使用收益和损失系统来评估这些响应,从 而选择符合自己目标的响应。 在关系网络中,零部件的组合关系就是关系网络中的重要脉络。它们在语言中,就 是语言的常用语、常用词汇和常用句型。它们在动作中,就是一个动作过程中的共有关键步 骤。比如买机票、去机场、安检和登机等关键步骤。这些步骤是通过记忆和遗忘机制,在一次 次学习中,忘记细节并记住共有特征而形成的。这些关键步骤包含的时间和空间信息,它们 是机器建立响应时可以模仿的过程框架。人类通过语言,给很多过程框架增加了语言符号。 所以,这些过程框架,从表面上看,是用语言来进行组织的。但其底层的组织关系,依然是图 像特征图。机器需要把这些语言代表的过程框架(有些过程框架可能没有一个概念来代表, 14 CN 111553467 A 说 明 书 12/36 页 但可以用多个概念来代表,它们就是需要一句话或者一段话才能表达的信息),展开成对应 的过程特征(就是这个过程中关键步骤的特征图),进行模仿。比如“去机场”的概念所展开 的特征图可能是开车去机场,或者打的去机场等过程中,经过记忆和遗忘机制,忘记了具体 细节,只保留下来的几个象征性图片式的特征图。这些象征性图片式的特征图,就会激发相 关记忆,让我们进一步把这个概念展开,比如模仿过去的记忆,开始网约车,开始准备行李 等等。在准备行李时,以前的记忆是使用箱子,但这次没有箱子。于是机器需要搜索在类似 情况下整理行李的所有记忆,如果在随后的步骤中没有建立起来满足自己的收益和损失评 估要求的响应,机器就再次展开更多的记忆,来扩大可以模仿的范围。机器对大过程框架下 的每个概念都做类似处理,并参考相同部分在每个记忆中的时间和空间信息,把它们组合 起来。如果无法组织起来,就进一步扩大记忆,展开概念。这个过程迭代进行,最终构成一个 塔型的模仿结构,这个塔型模仿结构就是虚拟过程。机器通过评估这个塔型的模仿结构带 来的收益和损失,来决定是否选用这个结构来模仿并给出响应。而用来组合这个塔型结构 的零部件,初始阶段就是我们前面提及的通过4个方面调用记忆而得到的相关记忆池,然后 随着概念的展开,这个记忆池的内容不断增加,被关注的内容也在不断改变。而那些进入了 记忆池的记忆,也会认为被使用了一次,按照记忆曲线增加记忆值。所以这些零部件,因为 它们是各种过程中的关键步骤,所以经常被调用。而反过来,这些零部件,也因为它们记忆 值高,不容易被忘记,而容易被找到。所以,这是一个正反馈强化过程。这个过程就是本发明 申请中提出的分段模仿过程。 需要指出,语言输出就是一个分段模仿过程。当机器模仿以前的语言经验来做出 语言响应时,由于具体场景的差异,机器只能借鉴以前语言经验中的部分经验(零部件)。而 这些能够被频繁模仿的语言经验就是常用句型、常用语和习惯用语。因为它们是存在于大 量语言中的共同部分,比如语言中的连接词、助词、叹词、常用词汇、常用句型等,是可以在 众多情况下被模仿的对象。这些对象被一次一次的使用,并按照记忆曲线增加激活值,最终 也变成过程框架。在做出响应时,机器模仿这些框架,然后扩大记忆,来把细节安装到这些 框架上,就构成了语言输出。 如果机器在后续的S5步骤中,无法建立合理的响应。有可能是在S4步骤中,组织了 错误的信息,还有可能是在前面任何步骤中出现差错。这时机器进入对“无法理解信息”流 程的处理。也就是说,“无法理解信息”本身就是一种对信息的一种理解结果。机器根据自己 的经验,建立对“无法理解信息”的响应。这些响应可能是置之不理,可能是再次提取底层特 征,可能是再次识别特征图和建立关注点,可能是重新选择响应等。 在S5步骤中,机器需要根据对信息的理解,加入自己的动机,从各种可能的响应 中,按照趋利避害的原则,选择出满意的响应。这一步,是机器思维中最复杂的一步。机器大 部分的思维时间都用在这一步中。机器根据对输入信息的理解:信息源的目的和状态,自己 的目的和状态,环境的状态和从4个方面寻找记忆而建立的初始记忆池,开始创造出各种可 能的响应,然后从中挑选出一个合理的响应来对外输出。 而挑选的方法就是基于人工给机器预置的本能动机和机器对各种响应的收益和 损失评估,按照趋利避害的方式来挑选响应。人的动机,从本质上说,就是维持自己良好的 生存状态。那些对本能动机有利的,就是“利益”。那些对这个目标有损失的,就是“损失”。人 类在出生后,本能的监测系统就开始运转,不断判断“利益”和“损失”。比如“奶”能够满足孩 15 CN 111553467 A 说 明 书 13/36 页 子的本能需求,那么这是一种“利益”。被责骂意味着对生存的威胁,这是一种“损失”。获得 拥抱和关注是一种对“安全需求”的满足,是一种“利益”,而被忽视则是一种“安全需求”不 能被满足的“损失”。随着学习的展开,孩子还可能总结出“食物”是一种利益,“钱”是一种利 益,“支配权”是一种利益,“良好的人际关系”是一种利益,这些都是在本能动机基础上发展 出来的,为本能动机服务的。同样,我们把这个机制引入到机器智能中。让机器把遵守“机器 公约”作为一个收益和损失评估的基本标准。在机器的学习过程中,机器每次存储记忆镜像 空间时,会同步存储这一段记忆的收益和损失评估结果:收益值和损失值两个数字。 我们不可能去告诉机器哪些可以做,哪些不能做。这些需要通过机器自己学习来 理解。我们只需要给机器预置一个代表收益的表达和代表损失的表达,或者进一步,再增加 一些不同强度,在机器学习过程中,通过预置的方法告诉机器收到的是收益还是损失,它们 的大致强度就可以了。当然,也可以预置和机器自身状态传感器数据相关的收益和损失,比 如被撞击、缺电、有水侵入等信息连接损失;比如缺电时充电、维护自身数据在安全区间等 信息连接收益。机器把代表收益和损失的两个符号存入它们被赋值的记忆中,并且把收益 和损失值按照正相关赋值作为它们的记忆值。由于镜像空间中的事物彼此之间存在关系, 这种关系和它们彼此的记忆值相关。那些一次次出现的同一个记忆中的收益和特定特征图 之间,就通过记忆和遗忘机制,不断加强了连接关系。对损失也是类似的处理。显然,由于收 益得到的记忆值就是正比于收益值,损失得到的记忆值就是正比于损失值,那些巨大的收 益和可怕的损失会让机器终身难忘,而那些小的收益和损失会随时间而被忘记。那些经常 带来收益的事物和收益有更加紧密的连接,而损失也是样的。机器在评估自己的响应时,把 虚拟响应作为输入在进入关系网络,自然就得到收益符号上的收益值和损失符号上的损失 值。然后评估。这个评估程序可以是预置的,也可以根据学习过程中得到的反馈而进行调 整。所以,机器可以做到牺牲小的收益,寻求后续更大的收益;也可以做到选择小的损失,避 免更大的损失。这也为人类确保机器按照自己的意愿来思考提供了实现方式。比如,遵守 “机器公约”是一种带来利益的目标,帮助主人是一种带来利益的目标,违反法律是一种带 来损失的目标。 另外,机器也把本能动机给输入信息赋值时的参数设置记录到对应的记忆中。本 能动机给机器赋值大小代表了是一种情绪。比如警觉度,戒备心,信任程度等。它受到两个 方面的调控。一是机器自身的安全状态参数,这是先天的情绪。先天的情绪是预置。二是环 境的因素,包括面对收益和损失后的响应,自己面对的环境带来的情绪,这是通过后天的学 习获得的。机器通过不断调整本能动机赋值系统,来尝试扩大收益和避免损失,并逐渐把满 意的赋值参数和外界刺激联系起来因为它们都存在于同一个记忆中,所以采用记忆和遗忘 机制就可以实现。机器的本能动机状态可以采用一种方式外显出来,提供一种额外的交流 方式,这就是表情。 当机器准备做出响应时,机器首先从前面提高的4个方面寻找记忆,建立一个相关 记忆池。机器通过分段模仿来建立各种可能的响应,并评估这些响应可能带来的收益和损 失。机器评估收益和损失,只需要把自己建立的响应,做一次虚拟输入。输入后,通过赋予这 些信息的初始激活值,激活完成后,自然就得到了收益和损失值。机器根据这些收益和损失 值,来决定取舍。当然,收益和损失还可能处于中间过渡状态,难以取舍时,机器需要在输入 信息中加入更多的记忆,从而打破这个平衡状态,来做出决策。这个过程可以迭代进行。 16 CN 111553467 A 说 明 书 14/36 页 机器在完成了S5步骤后,机器进入S6步骤。S6步骤是一个翻译过程。如果在S5步骤 中,机器选用的是语音输出,这就比较简单,只需要把准备输出的图像特征图转变为语音, 然后利用关系网络和记忆,采用模仿类似的语言记忆来调整它们的次序。这就是一个参考 语法书(关系网络)来组织词汇变成句子的过程。然后机器调用关于每个词语的发音经验和 表达情绪的经验,把信息发出去。用比喻来说,这相当于仓库管理员对组装的产品,按照客 户需求,做了一层外壳,然后直接航空发送出去了。 如果在S5中,机器选用的是动作输出,那么问题就会变得复杂很多。这相当于给客 户交付的产品是组织起一场活动。在S5中,仓库管理员给出产品只是一个活动计划书,它可 能有主要步骤和最终目标,其余都需要在实践中随机应变。 1,机器需要把准备输出的图像特征图序列作为目标(这是中间目标和最终目标), 按照这些目标涉及到不同的时间和空间。机器需要对它们在时间和空间上做划分,便于协 调自己的执行效率。采用的方法是通过选择时间上紧密联系的目标和空间上紧密联系的目 标作为分组,因为记忆中镜像空间是带有时间和空间信息的,所以这一步可以采用归类方 法。(这一步相当于从总剧本改写到分剧本)。 2,机器需要把每个环节中的中间目标,再次结合现实情况,采用分段模仿的方法, 来构成多个可能实现的图像序列,然后再次采用收益和损失系统,来挑选出符合自己的序 列。然后机器把这个挑选出来的序列,作为新输出。这个新的输出是原来大的输出框架下的 一个细分实现环节,只是整个输出中的一个小环节。(这是分剧本的实现过程,还是使用一 样的流程。因为分剧本也是要求组织一场活动,只是目标是中间目标而已)。 3,这个过程不断迭代下去,每次采用的方法都是一样:通过分段模仿来找到可能 的解决方案。然后通过收益和损失系统,来挑选出符合自己的方案。这是一个把大目标分解 成小目标,然后分解成更小的目标,层层细分下去,直到分解到机器的底层经验能够直接实 现的目标。(类比于在分剧本执行中,发现还是有无法实现的情节,需要再次做分剧本,再次 走向更小中间目标的活动组织流程。这个过程不断迭代进行,直到完成最终目标。)一直要 细分到底层经验:对语言来说就是调动肌肉发出音节。对动作而言,就是分解到对相关“肌 肉”发出驱动命令。通过这样的方法,机器最终可以实施并完成一个响应过程。 4,在这个过程中,随时可能碰到新信息,导致机器需要处理各种信息,而这些原来 的目标就变成继承动机。(这就相当于组织活动的过程中,不断碰到新情况,需要立即解决, 否者活动就无法组织下去了。于是导演叫停其他活动,先来解决眼前碰到的问题。解决后, 活动继续进行。另外一种情况就是在这个过程中,导演突然接到一个新任务,于是导演权衡 利弊后,决定活动先暂停,优先处理新任务)。 S7步骤是贯穿于所有步骤中的新记忆空间的建立和关系网络的更新过程。它不是 一个单独的步骤,它是在每个步骤中维护记忆系统的过程。它的核心就是记忆和遗忘机制。 还需要说明,这里的步骤划分,是为了方便说明整个过程。把以上方法重新划分成 其他步骤,依然是属于本发明专利申请的权利要求的范围内。 在以上的步骤中,涉及到了特征图的建立、识别和优化,涉及到概念的建立、识别 和优化,涉及到寻找关注点,涉及到通过关注点去寻找最相关记忆,涉及到对一段或者多段 记忆进行分段模仿,也涉及到记忆数据的筛选和存储过程。这些都是实现本发明申请中第 一方面的具体手段。它们是本发明申请公开的第二方面。 17 CN 111553467 A 说 明 书 15/36 页 本发明申请公开的第二方面,包括: 在本发明申请中提出一种特征图建立过程,包括: 机器在S1步骤中通过对比局部相似性建立底层特征,底层特征也是一种特征图。机器 在S3步骤中,如果发现部分特征在关系网络中找不到匹配的特征图。机器把这些特征组合 作为一个简图,存入临时记忆,并赋予其一个和激活值正相关的记忆值。通过上述两种方法 建立的特征图还不是类似事物或者过程中的共有特征,还需要通过在学习大量的同类事物 或者过程后,在关系提取机制的帮助下,那些共有特征最终变成长期记忆而保留下来。 在本发明申请中,提出一种特征图识别过程,包括: 机器通过对底层特征的搜索,在关系网络找到相关的特征图,然后对这个相关特征图 做标记。那些被多次标记的特征图就可能是候选者。机器使用关系网络中的候选者对输入 底层特征做分割,并比较两者的总相似度。如果相似度达到预设标准,机器就认为识别出了 特征图。另外一种特征图识别过程是采用链式激活。通过给底层特征赋予初始激活值后,然 后选择那些激活值高的特征图最为候选者。机器还是使用关系网络中的候选者对输入底层 特征做分割,并比较两者的总相似度。如果相似度达到预设标准,机器就认为识别出了特征 图。相比本发明申请前面提出的寻找关注点的方法,差异在于寻找关注点是直接通过底层 特征找最相关特征图,这些特征图可能还是包含了底层特征的特征图(比如书桌的特征图 像),也有可能直接就是语音或者文字(比如书桌这个发音)。 在本发明申请中,提出一种特征图优化过程,包括: 假设底层特征图A到包含它的上层特征图W之间存在连接关系,这个连接关系每使用一 次就按照记忆曲线增加A在W中的权重。同时,所有的底层特征在特征图W中的权重都会按照 遗忘曲线随时间而递减。在这种情况下,如果A是特征图W代表的事物、场景和过程中的共有 特征,那么就有可能被反复找到,从而获得更多的权重。这个过程不断进行,直到那些共有 特征组合变成长期记忆,而那些非共有特征,其权重逐渐降低。这就是使用记忆和遗忘机制 来优化特征图方法之一。具体来讲,在记忆库中,就是每次找到一个特征图后,按照记忆曲 线增加其记忆值。在认知网络中,每使用一次关系线传递激活值后,就按照记忆曲线增加其 连接值。 需要指出,由于机器采用了不同大小的窗口来提取底层特征,所以底层特征和自 身的大小没有关系,那些很大的特征也可能是一种底层特征。比如一个桌子本身整体可能 也是一个底层特征图。它不一定是其包含的局部特征图组合而成的。在使用小窗口提取特 征图时,我们看到局部特征。在使用大窗口提取特征图时,我们是从整体上来寻找特征。所 以我们判断一个桌子,既有可能从一个整体底层特征来判断,还有可能是从多个局部来判 断,还有可能两者的组合。还有可能是先使用大窗口识别,然后使用小窗口来进一步识别。 当然,这个过程也可以反过来进行。另外,在对比底层特征相似度时,需要考虑大小缩放和 角度旋转。这些都是目前图像处理里非常成熟的算法,这里不再赘述。 在本发明申请中,采用链式激活,还可以在关系网络中搜索概念和相关记忆。机器 根据自己的动机,对输入信息赋予初始激活值,并启动链式激活。由于链式激活会在关系网 络中传播激活值,而每个特征图多次获得的激活值是累计的,所以一个特征图中,如果有多 个启动链式激活的源信息向它传递激活值,那么它就可能因为多次累计激活值而获得高的 激活值,这些拥有高激活值的特征图,就是关注点。通过给单个关注点赋予初始激活值进行 18 CN 111553467 A 说 明 书 16/36 页 链式激活,那些激活值高的节点形成的局部网络就是相关概念。包含相关概念中的特征图 的记忆就是相关记忆。所以,机器可以使用链式激活搜索方法,去搜索那些和输入信息,包 括虚拟的输入信息相关的记忆。比如,通过对输入信息的每个信息单元都赋予激活值,得到 输入信息的关注点。然后对单个关注点赋值启动链式激活,找到多个相关概念。然后对相关 概念中的每个特征图赋予初始激活值,那些包含高激活值特征图的记忆,和那些包含多个 激活特征图的记忆,就是我们需要放入记忆池的记忆。 在以上的步骤中,涉及到了关系网络。而关系网络的具体形式和建立过程,是本发 明申请的第三方面。 在本发明申请中,提出一种关系网络的组织方式,包括: A,认知网络和记忆库。 认知网络可以认为是记忆库中的关系网络中常用的一部分被单独存放,用于快速 搜索目的。它和记忆库共同组成整个关系网络。这种方式适合地方大脑和中央大脑的组织 形式。地方大脑使用认知网络快速响应,需要时才求助中央大脑。地方大脑的角色更像一个 本地快速反应神经中枢,比如用于自动驾驶。 B,只有记忆库。 在这种组织形式中,没有单独的认知网络。所有关系包含在记忆库中。这种方式适 合个体机器人。 C,分布式的认知网络、记忆库或者它们的组合。 机器可以采用数据分布式存储的方法,来建立上述认知网络或者记忆库。这种比 较适合大型服务型知识中心。 D,共享式的认知网络、记忆库或者它们的组合。 机器可以采用数据共享式的存储方法,来建立上述认知网络或者记忆库。这种比 较适合共享共建的开源知识中心。 在本发明申请中,提出一种关系网络建立方法,包括: 尽管事物之间的关系看上去纷繁复杂,难以分类和描述。但在本发明申请中,我们提出 一种描述事物之间关系的方法:只需要提取事物之间相似性关系,事物之间时间和空间关 系,而不需要去进一步分析其他关系。机器对比相似性来建立机器的自建分类,这就是特征 图。机器通过记忆和遗忘机制来提取事物之间的时间和空间关系,这就是记忆帧中的关系 网络。记忆帧中的局部关系网络,通过网络间的相似事物(它包括具体事物、概念和语言等) 连接起来,就构成了整个关系网络。 1,相似性关系的提取,可以使用相似性对比算法,或者使用训练好的神经网络(包 括本发明申请中提出的引入了记忆和遗忘机制的神经网络)来进行。这里不再赘述。 2,事物之间的时间和空间关系的提取,是通过对记忆的整理来实现的。机器认为 处于同一个记忆帧中的特征图彼此之间存在关系,两个特征图之间的关系强度是这两个记 忆值的函数。这里的特征图包含了本能动机、收益和损失特征图、情绪记忆和所有其他传感 器数据。所以机器不需要去区分各种关系的分类和紧密程度,也不需要去建立具体的关系 网络。机器只需要按照记忆和遗忘机制,对每个记忆帧中特征图的记忆值维护就可以了。 3,认知网络是记忆库中的关系网络的提取。提取的方法就是:把每个记忆帧中的 特征图先建立连接线,它们的连接值是每个连接线两端的特征图的记忆值的函数。然后对 19 CN 111553467 A 说 明 书 17/36 页 每个特征图发出的连接值归一化。这样就会导致两个特征图彼此之间的连接值不是对称 的。 4,把记忆帧之间的相似特征图按照相似度的程度连接起来,连接值就是相似度。 通过上述步骤后,获得的网络就是从记忆库中提取出来的认知网络。后面,我们不 再区分记忆库中的关系和认知网络,统称为关系网络。 (四)本发明申请公开中的其他说明。 需要指出,在本发明申请公开中,机器的学习材料也可以从自身记忆之外的材料 获得,包括但不限于专家系统、知识图谱、字典、网络大数据等。这些材料可以通过机器的传 感器输入、也可以采用人工方法直接植入。但它们在机器学习中都是作为记忆来处理的。所 以这和机器使用记忆来学习不矛盾。 需要指出,在本发明申请公开中所提出的所有学习步骤并不存在时间分割线,它 们是相互交织进行的,每个步骤没有先后之分。划分这些步骤是为了说明方便,整个过程也 可以划分成其他步骤。 还需要指出,机器对输入信息的识别和响应,除了和关系网络有关,还和“性格”有 关。这里的“性格”是指机器的各项预设参数。比如激活阈值低的机器就喜欢产生联想,思考 时间长,考虑的比较全面,也有可能比较幽默。临时记忆库大的机器容易记住很多“细节”。 比如在做出决定时,激活值比激活值噪声底高多少就算“凸显”,这是一个阈值。这个阈值高 的机器可能优柔寡断,而这个阈值低的机器可能更容易跟着直觉走。再比如两个节点特征 图(可以是具体事物、发音、文字或者动态过程)有多少相似就算相似,确定了机器的类比思 维的能力,这决定了机器是属于一本正经的个性,还是一个幽默风趣的机器。不同的记忆和 遗忘曲线,不同的激活值传递曲线这些都带来机器不同的学习效果。 还需要指出的是,通过本发明申请所述方法,机器学到的认知和机器的学习经历 密切相关。即使学习材料相同和学习参数设置相同,但学习的经历不同,机器最终形成的认 知可能有很大差异。举例说明:我们的母语可能和特征图之间是直接连接。而第二语言,可 能是先和母语连接,然后间接连接到特征图。在没有熟练掌握第二语言时,甚至可能是从第 二语言到第二文字,再到母语文字,再转到特征图这样一个流程。当使用这样的流程时,需 要的时间大大增加,导致机器无法熟练的应用第二语言。所以,机器也存在母语学习问题 (当然,也可以通过人工植入的方法,直接让机器获得使用多种语言的能力)。所以,本发明 申请所述的机器学习方法,除了和机器的学习材料相关外,还和机器的对这些材料的学习 次序密切相关。 在本发明申请的基础上,是否采用不同的记忆和遗忘曲线,是否采用链式激活作 为搜索方法,是否采用不同的激活值传递函数,是否采用不同的激活值累计方式,是否也采 用记忆和遗忘机制之外的方法的其他关系提取机制,是否采用本发明申请中的数据存储形 式,是否在链式激活中采用不同的激活阈值,是否采用不同的“凸显”阈值,是否采用不同的 激活值噪声底计算方法,是否在多次链式激活时对节点采用不同的时间次序,是否在单次 链式激活时对节点采用不同的时间次序,每次选取关注点的多少,按照动机采用的不同赋 予初始激活值的具体方式,甚至是采用不同的硬件配置(比如计算能力,记忆容量等),具体 采用哪种母语进行学习,是否采用人工干预来获得的认知等,上述这些差异都是本发明申 请中,提出的实现通用人工智能框架下的具体优选方法,都是可以通过本行业公知知识来 20 CN 111553467 A 说 明 书 18/36 页 实现的,这些都不影响本发明申请提出的权利要求。 附图说明 图1为本发明申请公开的实现通用人工智能的主要步骤。 图2是建立底层特征图和提取底层特征图算法模型的方法。 图3是提取底层特征图的步骤。 图4是采用链式激活来寻找关注点的流程。 图5是对输入信息的理解过程。 图6是机器组织和选择响应的过程。 图7是一种认知网络的组织形式。
分享到:
收藏