面向6G的跨模态语义编解码技术

摘要：

在6G时代,为了兼顾用户沉浸式的多模态体验需求和低时延,高可靠的通信质量,语义通信技术被认为是6G通信中极具潜力的研究方向之一.为此,本文提出了一个跨模态语义通信系统,其中主要设计了语义编码模块和语义解码模块,对于编码后的三种模态语义中间向量用F范数判别其相似度,舍弃相同特征,保留独有特征进行特征加权求和,完成了跨模态语义融合,实现了多模态业务中用户不同任务需求为驱动的端到端的数据传输.这种编解码框架实现了包含了语音、文本、图像三种多模态数据的跨越式传输,为通信面向语用任务提供了解决方案,极大程度上增强了用户体验.此外,本文还提出了对于收发两端跨模态语义相似度的评价体系结构,该体系结构主要由孪生网络和伪孪生网络构成,能准确获取模态内容之间的匹配损失,反向指导编解码部分的参数优化,使损失值达到最小,促使网络迭代收敛,从而实现编解码模块对于语义的精准达意传输.仿真结果表明,所提出的跨模态语义通信系统明显优于传统通信系统.高信噪比情况下,各种模态相似度几乎都达到90%以上.在低信噪比情况下,跨模态语义通信系统的优势则更加明显,跨模态语义传输的相似度相较于传统通信提升超过53%,因此佐证了跨模态语义通信的优越性和可行性.

关键词：跨模态信号处理、语义通信、深度学习、相似度评价

所属期刊栏目：39

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;江苏省重点研发计划项目;教育部重点实验室开放基金;南京邮电大学科研启动经费项目;江苏省高校自然科学研究重大项目

在线出版日期：2023-07-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1141-1154