中文空间语义理解评测数据集质量评估研究

摘要：

中文空间语义理解能力评测(SpaCE2021)可以看作类人机器语言能力评测的一项重要尝试,其通过空间方位义词语替换的办法生成大量富含空间义信息的语料,构建了中文空间语义理解评测数据集.本文从生成题目的原句情况、可替换词与替换词的结构类型、测试集题目答案的正误分布及空间类型等四个方面分析了中文空间语义理解能力评测数据集的特点,进而通过人类被试和参赛系统的比较,详细分析了机器在不同类型空间词汇上的性能表现,总结了机器空间语义理解的一般规律,并从题目的无偏性和延续性两方面入手,为构建高质量中文评测数据集提出了具体建议.以上工作有助于提升空间语义评测数据集的质量,从而更好地提升相关评测任务的准确性和可靠性.

关键词：中文空间语义理解、数据集、机器表现、NLP评测

分类号：H087(应用语言学)

资助基金：国家科技创新新一代人工智能重大项目2020AAA0106701

在线出版日期：2023-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：101-113