技术摘要：
本发明提供一种融合超声定位和惯性测量单元的三维笔势识别方法，属于三维笔势识别方法。使用轨迹形态、运动方向、笔身姿态和空间位置四种属性信息定义三维笔势，识别方法具体包括：基于归一化中心距离编码的轨迹形态识别方法；基于笔身速度估算的运动方向识别方法；基 全部
背景技术：
人机交互是研究用户与系统之间交互关系的学科。随着计算机技术的发展和新的 交互需求的出现，目前传统的二维交互方式由于交互空间小，交互自由度低，交互方式匮乏 等原因已经不能满足用户的需求，三维交互成为人机交互领域的研究热点。三维笔式交互 借助纸笔隐喻降低用户学习成本以实现高效自然的人机交互，是一种新兴的三维交互方 式。三维笔势交互是指用户在笔式交互过程中手持电子笔完成特定动作的交互方式，具有 交互空间大、六自由度和握笔姿势多样的特性，而目前的笔势识别方案并未对上述特性做 充分研究。因此，研究融合多通道信息的三维笔势的定义方式与识别方法，为三维笔式交互 提供新的功能和应用，具有重要的研究意义和应用价值。 目前已有一些关于笔势识别方法的专利和学术研究。 中国专利“一种基于超声定位的三维笔势识别方法”(专利号201611157261 .X)公 开了一种基于超声定位的三维笔势识别方法，属于人机交互领域。通过超声定位装置采集 用户在输入三维笔势时在空间划过轨迹的三维坐标；计算空间划过轨迹的三维坐标在XoY、 ZoX和YoZ三个平面的投影坐标，并进行平滑处理，去除因用户手的抖动或环境噪声造成的 微小偏差；将平滑处理后的三维笔势投影坐标与系统三维笔势库中的投影坐标进行匹配， 匹配成功则执行对应指令，匹配失败则自动进行系统笔势库的自适应更新，向系统中加入 用户习惯的三维笔势，以适应不同用户的输入习惯。中国专利“一种基于方向链码的三维笔 势识别方法”(专利号201710402132.0)公开了一种基于方向链码的三维笔势识别方法，属 于人机交互领域，通过采集笔式输入通道中笔的空间位置信息，采用方向链码来描述笔的 运动轨迹，进而建立三维笔势的模型，通过与系统中设定好的模型进行匹配，来实时地识别 用户的交互意图。该发明可以实时地识别出用户在三维空间中的一些笔势操作，具有一定 的通用性以及扩展性，支持三维书空识别，增强人机交互平台的自然性，运用方向链码的编 码方式，算法简便，计算量小，实时性高，通过对方向链码的去噪以及整合处理，可以进行精 准识别。上述两种方法均虽然以超声定位数据为基础实现了笔势识别功能，但是只使用了 超声定位坐标这一中传感器通道的数据，识别的笔势内容仅使用轨迹形态这一种属性进行 定义，并未考虑运动方向，笔身姿态，空间位置等其他方面的因素，在实际应用中有时无法 满足用户需求。 我国台湾地区研究人员Jeen-Shing Wang在电子笔上集成了三轴加速度计，控制 5 CN 111580686 A 说 明 书 2/8 页 模块及无线通信通信模块。用户按下按键同时开始笔势操作，笔势结束松开按键。在这段时 间内，加速度计实时数据由无线通信模块发送至上位机并进行记录，完成对笔势信息的采 集。在此基础上，对三轴加速度数据提取统计学特征如均值、方差和标准差等。将这些特征 代入神经网络模型进行训练和识别。目前基于惯性测量单元的笔势识别研究中相关研究中 对于笔势动作添加了过多的约束，例如：要求实验者在完成笔势动作时保持笔身姿态固定、 笔尖指向特定平面且每次笔势形成的轨迹大小尽量一致等。这些约束的目的是降低特征设 计难度和提高识别率。然而在实际应用场合，这些约束条件会降低笔势识别方法的适用性。
技术实现要素：
本发明提供一种融合超声定位和惯性测量单元的三维笔势识别方法，以解决传统 方法无法识别具有多种属性信息的三维笔势的问题。 本发明采取的技术方案是，包括下列步骤： (一)、基于轨迹形态、运动方向、笔身姿态和空间位置四种属性信息定义三维笔 势； (1)定义轨迹形态属性信息：三维笔势的轨迹形态定义用户完成笔势动作过程中， 笔尖运动形成的空间轨迹的形态，这一属性是全部三维笔势均具有的基本属性，典型的轨 迹形态包括线段，折线，封闭几何图形； (2)定义运动方向属性信息：笔身运动方向即笔势动作过程中笔身相对于外部参 考系的速度方向，通过运动方向属性信息科对三维笔势的定义进行完善补充； (3)定义笔身姿态属性信息：三维笔势的笔身姿态定义不同笔势间的姿态变化，指 笔势过程中电子笔的姿态变化情况； (4)定义空间位置属性信息：三维笔势的空间位置定义当前笔势动作发生的空间 区域信息； (二)按照轨迹形态、运动方向、笔身姿态和空间位置的优先顺序依次识别三维笔 势各属性信息，完成笔势识别。 本发明步骤二中对于各属性信息，选取合适的数据通道和识别算法，具体步骤如 下： (1)根据超声三维定位坐标序列，以下简称超声坐标，使用归一化中心距离编码方 法对超声坐标序列进行编码，之后使用动态时间规整算法等序列匹配方法将进行样本序列 与模板序列间的相似度匹配，通过样本与不同模板间的相似度高低确定样本的轨迹形态属 性信息； (2)采集三轴加速度信息，在此基础上估算笔势过程中笔身在X，Y，Z三轴的运动速 度分量，进而确定笔势运动方向属性信息； (3)以笔势过程中姿态角序列为基础，计算各姿态角序列方差，设定合适的阈值识 别笔身姿态属性信息； (4)识别笔势动作发生的空间位置属性信息：通过比较分界面两侧各点到分界面 中心的距离和识别笔势动作发生的空间区域属性信息。 本发明步骤二中(1)具体如下： 1)取超声坐标序列c[m]＝c1,c2,...,ci,...,cM，1≤m≤M，其中ci＝(xi,yi,zi)为任 6 CN 111580686 A 说 明 书 3/8 页 意非重复采样时笔尖所处空间位置的超声坐标，M为序列长度； 2)利用c[m]计算轨迹中心cc＝(xc,yc,zc)，为轨迹中心点三维坐标： 3)依次计算轨迹坐标序列c[m]内每组超声坐标ci＝(xi,yi,z )Ti 到轨迹中心点ac＝ (xc,yc,zc)T的欧氏距离： 4)得到轨迹中心距离编码序列： d[m]＝d1,d2,...,dM 5)计算轨迹全长L，从起始点c1(x1,y1,z1)开始依次计算序列内相邻两点间直线距 离并累加，可近似认为该累加距离即为轨迹全长： 6)利用轨迹全长L对轨迹中心距离编码序列d[m]进行归一化处理，得到归一化轨 迹中心距离编码序列s[m]： 7)使用动态时间规整算法进行样本序列与模板序列间的匹配，通过最短规整距离 的相对大小识别样本轨迹形态。 本发明步骤二中(2)Y轴和Z轴处理步骤与X轴相同，以X轴加速度序列为例，步骤如 下： 1)设笔势过程对应的X轴加速度序列为ax[n]＝ax1 ,ax2,...,axN，其中axi为任意 采样点处电子笔运动产生的X轴加速度，N为序列长度，已知采样频率固定为60Hz，则采集到 axi与axi 1两个数据点之间的时间间隔为 2)笔势运开始时刻三轴速度均为0，则在t1时刻可近似认为电子笔运动在X轴的瞬 时速度分量为： vx1＝ax1·Δt 3)近似认为在t＝0至t＝t1时间段内，电子笔在X轴的运动速度均为vx1对于下一时 刻t2，则有： vx2＝ax2·Δt vx1 4)近似认为在t＝t1至t＝t2时间段内，电子笔在X轴的运动速度均为vx2以此类推， 可得到笔势动作过程中电子笔在X轴方向的速度分量序列为： vx[n]＝vx1,vx2,...,vxN 5)计算该序列均值得到电子笔X轴方向的平均速度vxave： 6)同理，可得到电子笔运动产生的Y轴与Z轴平均速度，分别记为vyave,vzave； 7 CN 111580686 A 说 明 书 4/8 页 7)通过比较三轴平均速度的模确定笔身运动轴向，判别关系为： 若max(|vxave|,|vyave|,|vzave|)＝|vxave|，则电子笔沿着X轴向运动； 若max(|vxave|,|vyave|,|vzave|)＝|vyave|，则电子笔沿着Y轴向运动； 若max(|vxave|,|vyave|,|vzave|)＝|vzave|，则电子笔沿着Z轴向运动。 8)通过该轴向速度值确定笔身运动的正向与负向，以电子笔沿X轴向运动为例，判 别关系为： 若vxave≥0，则电子笔运动方向为X轴正向； 若vxave＜0，则电子笔运动方向为X轴负向。 本发明步骤二中(3)具体步骤如下： 1)设笔势过程中笔身姿态的俯仰角(pitch)θ序列，偏航角(yaw)ψ序列和翻滚角 (roll)序列分别为： θ[n]＝θ1,θ2,..,θN，ψ[n]＝ψ1,ψ2,...,ψN，φ[n]＝φ1,φ2,...,φN 2)分别计算姿态角序列方差，得到Vθ，Vψ，Vφ； 3)取代数平均值平均值得到Vave： 4)设定阈值Vth用来识别笔身平动或转动，判别关系如下： 若Vave≥Vth，则认为笔势过程。 本发明步骤二中(4)以空间位置分为分界面左侧和右侧两种为例，判别空间位置 属性信息的具体步骤如下： 1)取待识别样本坐标序列c[m]＝c1,c2,...,ci,...,cM，其中M为序列长度，对于每 个点依次判断点其位于分界面左侧还是右侧，坐标点恰好落在分界面上时，默认该点位于 分界面左侧； 2)定义Ml为落在分界面左侧点的个数，Mr为落在分界面右侧点的个数，Ml Mr＝M， 得到新序列e[ml]和f[mr]，其中e[ml]分别为c[m]内落在分界面左侧的全部点；照采样先后 排列而成的序列，f[mr]为c[m]内落在分界面右侧全部点按照采样先后排列而成的序列； 3)计算e[ml]和f[mr]两个序列内全部点到分界面中心O(xo,yo,zo)的距离之和记为 suml,sumr： 4)根据suml和sumr的大小关系判断笔势动作的空间位置，判别关系为： 若suml≤sumr，则认为该笔势动作发生在分界面右侧； 若suml＞sumr，则认为该笔势动作发生在分界面左侧。 基于超声坐标、三轴加速度数据和笔身姿态数据的多通道信息，提出了一种以轨 迹形态作为基本属性，以运动方向、笔身姿态和空间位置作为补充属性的三维笔势定义方 法，充分考虑了三维笔势具有的交互空间大、六自由度和握笔姿势多样的特性，因此可以更 好地满足三维笔势交互需求。本发明提出的三维笔势识别方法按照优先级逐步判别三维笔 8 CN 111580686 A 说 明 书 5/8 页 势各属性信息，根据当前判别的笔势属性选择对应的数据通道，结合数据特点设计识别方 法，完成笔势识别。 本发明的优势在于：提出了基于轨迹形态、运动方向、笔身姿态和空间位置的三维 笔势定义方法，并引入超声定位和惯性测量单元的多通道数据描这四种属性的相关信息。 使用本方法定义的三维笔势可更好地满足三维笔势交互更具有的交互空间大，六自由度和 握笔姿势多样的特点。本发明提出的三维笔势识别方法按照优先级依次识别轨迹形态、运 动方向、笔身姿态和空间位置信息，根据当前识别内容选择合适的数据模态和识别方法。与 典型的机器学习方法相比，本发明提出的方法具有不需要大量训练样本、运算量低、实时性 好和可解释性强等优势。与现有笔势识别方案相比，本发明提出的三维笔势识别方法对笔 势动作的约束较少(常见约束如轨迹比例，动作朝向等)，具有更好的适用性。 附图说明 图1是本发明中三维笔势中线段轨迹形态图； 图2是本发明中三维笔势中圆形轨迹形态图； 图3是本发明中三维笔势中V形轨迹形态图； 图4是本发明中三维笔势运动方向图； 图5是本发明中三维笔势中笔身平动姿态图； 图6是本发明中三维笔势中笔身转动姿态图； 图7是本发明中三维笔势空间位置图。
本发明提供一种融合超声定位和惯性测量单元的三维笔势识别方法，属于三维笔势识别方法。使用轨迹形态、运动方向、笔身姿态和空间位置四种属性信息定义三维笔势，识别方法具体包括：基于归一化中心距离编码的轨迹形态识别方法；基于笔身速度估算的运动方向识别方法；基 全部
背景技术：
人机交互是研究用户与系统之间交互关系的学科。随着计算机技术的发展和新的 交互需求的出现，目前传统的二维交互方式由于交互空间小，交互自由度低，交互方式匮乏 等原因已经不能满足用户的需求，三维交互成为人机交互领域的研究热点。三维笔式交互 借助纸笔隐喻降低用户学习成本以实现高效自然的人机交互，是一种新兴的三维交互方 式。三维笔势交互是指用户在笔式交互过程中手持电子笔完成特定动作的交互方式，具有 交互空间大、六自由度和握笔姿势多样的特性，而目前的笔势识别方案并未对上述特性做 充分研究。因此，研究融合多通道信息的三维笔势的定义方式与识别方法，为三维笔式交互 提供新的功能和应用，具有重要的研究意义和应用价值。 目前已有一些关于笔势识别方法的专利和学术研究。 中国专利“一种基于超声定位的三维笔势识别方法”(专利号201611157261 .X)公 开了一种基于超声定位的三维笔势识别方法，属于人机交互领域。通过超声定位装置采集 用户在输入三维笔势时在空间划过轨迹的三维坐标；计算空间划过轨迹的三维坐标在XoY、 ZoX和YoZ三个平面的投影坐标，并进行平滑处理，去除因用户手的抖动或环境噪声造成的 微小偏差；将平滑处理后的三维笔势投影坐标与系统三维笔势库中的投影坐标进行匹配， 匹配成功则执行对应指令，匹配失败则自动进行系统笔势库的自适应更新，向系统中加入 用户习惯的三维笔势，以适应不同用户的输入习惯。中国专利“一种基于方向链码的三维笔 势识别方法”(专利号201710402132.0)公开了一种基于方向链码的三维笔势识别方法，属 于人机交互领域，通过采集笔式输入通道中笔的空间位置信息，采用方向链码来描述笔的 运动轨迹，进而建立三维笔势的模型，通过与系统中设定好的模型进行匹配，来实时地识别 用户的交互意图。该发明可以实时地识别出用户在三维空间中的一些笔势操作，具有一定 的通用性以及扩展性，支持三维书空识别，增强人机交互平台的自然性，运用方向链码的编 码方式，算法简便，计算量小，实时性高，通过对方向链码的去噪以及整合处理，可以进行精 准识别。上述两种方法均虽然以超声定位数据为基础实现了笔势识别功能，但是只使用了 超声定位坐标这一中传感器通道的数据，识别的笔势内容仅使用轨迹形态这一种属性进行 定义，并未考虑运动方向，笔身姿态，空间位置等其他方面的因素，在实际应用中有时无法 满足用户需求。 我国台湾地区研究人员Jeen-Shing Wang在电子笔上集成了三轴加速度计，控制 5 CN 111580686 A 说 明 书 2/8 页 模块及无线通信通信模块。用户按下按键同时开始笔势操作，笔势结束松开按键。在这段时 间内，加速度计实时数据由无线通信模块发送至上位机并进行记录，完成对笔势信息的采 集。在此基础上，对三轴加速度数据提取统计学特征如均值、方差和标准差等。将这些特征 代入神经网络模型进行训练和识别。目前基于惯性测量单元的笔势识别研究中相关研究中 对于笔势动作添加了过多的约束，例如：要求实验者在完成笔势动作时保持笔身姿态固定、 笔尖指向特定平面且每次笔势形成的轨迹大小尽量一致等。这些约束的目的是降低特征设 计难度和提高识别率。然而在实际应用场合，这些约束条件会降低笔势识别方法的适用性。
技术实现要素：
本发明提供一种融合超声定位和惯性测量单元的三维笔势识别方法，以解决传统 方法无法识别具有多种属性信息的三维笔势的问题。 本发明采取的技术方案是，包括下列步骤： (一)、基于轨迹形态、运动方向、笔身姿态和空间位置四种属性信息定义三维笔 势； (1)定义轨迹形态属性信息：三维笔势的轨迹形态定义用户完成笔势动作过程中， 笔尖运动形成的空间轨迹的形态，这一属性是全部三维笔势均具有的基本属性，典型的轨 迹形态包括线段，折线，封闭几何图形； (2)定义运动方向属性信息：笔身运动方向即笔势动作过程中笔身相对于外部参 考系的速度方向，通过运动方向属性信息科对三维笔势的定义进行完善补充； (3)定义笔身姿态属性信息：三维笔势的笔身姿态定义不同笔势间的姿态变化，指 笔势过程中电子笔的姿态变化情况； (4)定义空间位置属性信息：三维笔势的空间位置定义当前笔势动作发生的空间 区域信息； (二)按照轨迹形态、运动方向、笔身姿态和空间位置的优先顺序依次识别三维笔 势各属性信息，完成笔势识别。 本发明步骤二中对于各属性信息，选取合适的数据通道和识别算法，具体步骤如 下： (1)根据超声三维定位坐标序列，以下简称超声坐标，使用归一化中心距离编码方 法对超声坐标序列进行编码，之后使用动态时间规整算法等序列匹配方法将进行样本序列 与模板序列间的相似度匹配，通过样本与不同模板间的相似度高低确定样本的轨迹形态属 性信息； (2)采集三轴加速度信息，在此基础上估算笔势过程中笔身在X，Y，Z三轴的运动速 度分量，进而确定笔势运动方向属性信息； (3)以笔势过程中姿态角序列为基础，计算各姿态角序列方差，设定合适的阈值识 别笔身姿态属性信息； (4)识别笔势动作发生的空间位置属性信息：通过比较分界面两侧各点到分界面 中心的距离和识别笔势动作发生的空间区域属性信息。 本发明步骤二中(1)具体如下： 1)取超声坐标序列c[m]＝c1,c2,...,ci,...,cM，1≤m≤M，其中ci＝(xi,yi,zi)为任 6 CN 111580686 A 说 明 书 3/8 页 意非重复采样时笔尖所处空间位置的超声坐标，M为序列长度； 2)利用c[m]计算轨迹中心cc＝(xc,yc,zc)，为轨迹中心点三维坐标： 3)依次计算轨迹坐标序列c[m]内每组超声坐标ci＝(xi,yi,z )Ti 到轨迹中心点ac＝ (xc,yc,zc)T的欧氏距离： 4)得到轨迹中心距离编码序列： d[m]＝d1,d2,...,dM 5)计算轨迹全长L，从起始点c1(x1,y1,z1)开始依次计算序列内相邻两点间直线距 离并累加，可近似认为该累加距离即为轨迹全长： 6)利用轨迹全长L对轨迹中心距离编码序列d[m]进行归一化处理，得到归一化轨 迹中心距离编码序列s[m]： 7)使用动态时间规整算法进行样本序列与模板序列间的匹配，通过最短规整距离 的相对大小识别样本轨迹形态。 本发明步骤二中(2)Y轴和Z轴处理步骤与X轴相同，以X轴加速度序列为例，步骤如 下： 1)设笔势过程对应的X轴加速度序列为ax[n]＝ax1 ,ax2,...,axN，其中axi为任意 采样点处电子笔运动产生的X轴加速度，N为序列长度，已知采样频率固定为60Hz，则采集到 axi与axi 1两个数据点之间的时间间隔为 2)笔势运开始时刻三轴速度均为0，则在t1时刻可近似认为电子笔运动在X轴的瞬 时速度分量为： vx1＝ax1·Δt 3)近似认为在t＝0至t＝t1时间段内，电子笔在X轴的运动速度均为vx1对于下一时 刻t2，则有： vx2＝ax2·Δt vx1 4)近似认为在t＝t1至t＝t2时间段内，电子笔在X轴的运动速度均为vx2以此类推， 可得到笔势动作过程中电子笔在X轴方向的速度分量序列为： vx[n]＝vx1,vx2,...,vxN 5)计算该序列均值得到电子笔X轴方向的平均速度vxave： 6)同理，可得到电子笔运动产生的Y轴与Z轴平均速度，分别记为vyave,vzave； 7 CN 111580686 A 说 明 书 4/8 页 7)通过比较三轴平均速度的模确定笔身运动轴向，判别关系为： 若max(|vxave|,|vyave|,|vzave|)＝|vxave|，则电子笔沿着X轴向运动； 若max(|vxave|,|vyave|,|vzave|)＝|vyave|，则电子笔沿着Y轴向运动； 若max(|vxave|,|vyave|,|vzave|)＝|vzave|，则电子笔沿着Z轴向运动。 8)通过该轴向速度值确定笔身运动的正向与负向，以电子笔沿X轴向运动为例，判 别关系为： 若vxave≥0，则电子笔运动方向为X轴正向； 若vxave＜0，则电子笔运动方向为X轴负向。 本发明步骤二中(3)具体步骤如下： 1)设笔势过程中笔身姿态的俯仰角(pitch)θ序列，偏航角(yaw)ψ序列和翻滚角 (roll)序列分别为： θ[n]＝θ1,θ2,..,θN，ψ[n]＝ψ1,ψ2,...,ψN，φ[n]＝φ1,φ2,...,φN 2)分别计算姿态角序列方差，得到Vθ，Vψ，Vφ； 3)取代数平均值平均值得到Vave： 4)设定阈值Vth用来识别笔身平动或转动，判别关系如下： 若Vave≥Vth，则认为笔势过程。 本发明步骤二中(4)以空间位置分为分界面左侧和右侧两种为例，判别空间位置 属性信息的具体步骤如下： 1)取待识别样本坐标序列c[m]＝c1,c2,...,ci,...,cM，其中M为序列长度，对于每 个点依次判断点其位于分界面左侧还是右侧，坐标点恰好落在分界面上时，默认该点位于 分界面左侧； 2)定义Ml为落在分界面左侧点的个数，Mr为落在分界面右侧点的个数，Ml Mr＝M， 得到新序列e[ml]和f[mr]，其中e[ml]分别为c[m]内落在分界面左侧的全部点；照采样先后 排列而成的序列，f[mr]为c[m]内落在分界面右侧全部点按照采样先后排列而成的序列； 3)计算e[ml]和f[mr]两个序列内全部点到分界面中心O(xo,yo,zo)的距离之和记为 suml,sumr： 4)根据suml和sumr的大小关系判断笔势动作的空间位置，判别关系为： 若suml≤sumr，则认为该笔势动作发生在分界面右侧； 若suml＞sumr，则认为该笔势动作发生在分界面左侧。 基于超声坐标、三轴加速度数据和笔身姿态数据的多通道信息，提出了一种以轨 迹形态作为基本属性，以运动方向、笔身姿态和空间位置作为补充属性的三维笔势定义方 法，充分考虑了三维笔势具有的交互空间大、六自由度和握笔姿势多样的特性，因此可以更 好地满足三维笔势交互需求。本发明提出的三维笔势识别方法按照优先级逐步判别三维笔 8 CN 111580686 A 说 明 书 5/8 页 势各属性信息，根据当前判别的笔势属性选择对应的数据通道，结合数据特点设计识别方 法，完成笔势识别。 本发明的优势在于：提出了基于轨迹形态、运动方向、笔身姿态和空间位置的三维 笔势定义方法，并引入超声定位和惯性测量单元的多通道数据描这四种属性的相关信息。 使用本方法定义的三维笔势可更好地满足三维笔势交互更具有的交互空间大，六自由度和 握笔姿势多样的特点。本发明提出的三维笔势识别方法按照优先级依次识别轨迹形态、运 动方向、笔身姿态和空间位置信息，根据当前识别内容选择合适的数据模态和识别方法。与 典型的机器学习方法相比，本发明提出的方法具有不需要大量训练样本、运算量低、实时性 好和可解释性强等优势。与现有笔势识别方案相比，本发明提出的三维笔势识别方法对笔 势动作的约束较少(常见约束如轨迹比例，动作朝向等)，具有更好的适用性。 附图说明 图1是本发明中三维笔势中线段轨迹形态图； 图2是本发明中三维笔势中圆形轨迹形态图； 图3是本发明中三维笔势中V形轨迹形态图； 图4是本发明中三维笔势运动方向图； 图5是本发明中三维笔势中笔身平动姿态图； 图6是本发明中三维笔势中笔身转动姿态图； 图7是本发明中三维笔势空间位置图。
