跨数据、信息、知识模态的内容编解码方法及组件
本发明公开了一种跨数据、信息、知识模态的内容编解码方法、装置、设备及可读存储介质，该方法包括：采集目标对象的行为内容；行为内容包括运动内容和/或声音内容；对行为内容进行跨数据、信息、知识模态的内容编码处理，得到编码结果；利用编码结果对行为内容进行响应处理。在该方法中，首先采集得到目标对象的行为内容，该行为内容可以具体为运动内容和声音内容中的至少一种。然后，对行为内容进行跨数据、信息、知识模态的内容编码处理，可以得到编码结果。最终，根据编码结果对行为内容进行响应处理。如此，便可避免用户必须对类似键盘、鼠标这种输入设备的限制，通过比划一个动作，发出一个声音便可实现人机交互，提升用户体验。
发明专利
CN202010966921.9
2020-09-15
CN112102831A
2020-12-18
G10L15/22(2006.01)
海南大学
段玉聪;胡时京
570228 海南省海口市人民大道58号海南大学
北京集佳知识产权代理有限公司
徐丽
海南;46
1.一种跨数据、信息、知识模态的内容编解码方法，其特征在于，包括： 采集目标对象的行为内容；所述行为内容包括运动内容和/或声音内容； 对所述行为内容进行跨数据、信息、知识模态的内容编码处理，得到编码结果； 利用所述编码结果对所述行为内容进行响应处理。 2.根据权利要求1所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，利用所述编码结果对所述行为内容进行响应处理，包括： 生成与所述编码结果对应的目标指令，并执行所述目标指令； 或，将所述编码结果传输至目标设备，以便所述目标设备对所述行为内容进行响应处理。 3.根据权利要求2所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，所述生成与所述编码结果对应的目标指令，并执行所述目标指令，包括： 生成与所述编码结果对应的设备控制指令；所述设备控制指令包括光标控制指令、功能开关控制指令； 执行所述设备控制指令。 4.根据权利要求1所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，利用所述编码结果对所述行为内容进行响应处理，包括： 对所述编码结果进行跨数据、信息、知识模态的内容解码处理，得到解码结果； 利用所述解码结果对所述行为内容进行响应处理。 5.根据权利要求4所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，对所述编码结果进行跨数据、信息、知识模态的内容解码处理，得到解码结果，包括： 若解码目标为数据资源，则转化所述编码结果中的数据资源或信息资源，得到所述解码结果； 若解码目标为信息资源，则转化所述编码结果中的信息资源，得到所述解码结果。 6.根据权利要求5所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，若解码目标为数据资源，相应地，转化所述编码结果中的数据资源或信息资源，得到所述解码结果，包括： 若所述编码结果与所述解码目标的模态相同，则按照同态映射，对所述编码结果进行映射处理，得到所述解码结果；其中，所述模态相同包括类型和维度均相同； 若所述编码结果与所述解码目标的模态不同，则对所述编码结果进行跨模态映射，得到与所述解码目标同模态的中间结果；按照同态映射，对所述中间结果进行映射处理，得到所述解码结果。 7.根据权利要求1所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，若所述行为内容为运动内容，所述编码结果包括数据资源和信息资源，所述数据资源包括标量数据资源和矢量数据资源； 相应地，对所述行为内容进行跨数据、信息、知识模态的内容编码处理，得到编码结果，包括： 将所述行为内容中连续形式的数值直接赋予所述标量数据资源； 将所述行为内容中离散形式的数值按照与阈值的对应关系，确定为所述标量数据资源； 将所述行为内容中绝对形式的方向或位置，直接赋予所述矢量数据资源； 将所述行为内容中相对形式的方向或位置，根据相应的基方向或基位置，得到相对方向或相对位置，并赋予所述矢量数据资源； 将所述行为内容中至少一个部位运动表达信息确定为所述信息资源。 8.根据权利要求7所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，还包括： 对不同的所述标量数据资源进行相互转换，对所述标量数据资源进行补充； 对不同的所述矢量数据资源进行相互转换，对所述矢量数据资源进行补充； 对所述矢量数据资源和所述标量数据资源进行相互转换，以补充所述数据资源。 9.根据权利要求1所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，若所述行为内容为声音内容，所述编码结果包括数据资源和信息资源，所述数据资源包括音调数据资源、音色数据资源和音量数据资源； 相应地，对所述行为内容进行跨数据、信息、知识模态的内容编码处理，得到编码结果，包括： 获取所述声音内容的音频频率，将所述音频频率作为所述音调数据资源； 获取所述声音内容的音频波形，将所述音频波形作为所述音色数据资源； 获取所述声音内容的音频响度，将所述音频响度作为所述音量数据资源； 识别所述声音内容的语音内容，将所述语音内容作为所述信息资源。 10.根据权利要求1至9任一项所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，还包括： 对所述行为内容进行预处理，得到剔除无效内容的所述行为内容。 11.根据权利要求1至9任一项所述的跨数据、信息、知识模态的内容编解码方法，其特征在于，还包括： 获取所述目标对象的反馈内容，利用所述反馈内容对所述内容编码处理和/或所述内容解码处理进行调优。 12.一种跨数据、信息、知识模态的内容编解码装置，其特征在于，包括： 行为内容采集模块，用于采集目标对象的行为内容；所述行为内容包括运动内容和/或声音内容； 内容编码模块，用于对所述行为内容进行跨数据、信息、知识模态的内容编码处理，得到编码结果； 响应处理模块，用于利用所述编码结果对所述行为内容进行响应处理。 13.一种跨数据、信息、知识模态的内容编解码设备，其特征在于，包括： 存储器，用于存储计算机程序； 处理器，用于执行所述计算机程序时实现如权利要求1至11任一项所述跨数据、信息、知识模态的内容编解码方法的步骤。 14.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述跨数据、信息、知识模态的内容编解码方法的步骤。