问答ChatGPT之后:超大预训练模型的机遇和挑战

摘要：

超大预训练模型(Pre-trained model, PTM)是人工智能领域近年来迅速崛起的研究方向, 在自然语言处理(Natural language processing, NLP)和计算机视觉等多种任务中达到了有史以来的最佳性能, 促进了人工智能生成内容(Artificial intelligence-generated content, AIGC)的发展和落地. ChatGPT作为当下最火热的PTM, 更是以优异的表现获得各界的广泛关注. 本文围绕ChatGPT展开. 首先概括PTM的基本思想并对其发展历程进行梳理; 接着, 详细探讨ChatGPT的技术细节, 并以平行智能的视角阐述ChatGPT; 最后, 从技术、范式以及应用等多个方面对PTM的发展趋势进行展望.

关键词：预训练模型、ChatGPT、Transformer、人工智能生成内容、平行智能、社会化大闭环

所属期刊栏目：49

分类号：TP391;D923.41;G35

资助基金：国家自然科学基金;行动元联合研究项目

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：705-717