ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路

摘要：

[目的]剖析ChatGPT的基础技术原理,探讨其对大语言模型发展产生的影响,以及对多模态大模型发展思路产生的影响.[方法]通过分析ChatGPT的发展过程和技术原理,探讨指令微调、数据采集与标注、基于人类反馈的强化学习等模型构建方法对大语言模型产生的影响.分析当前多模态大模型构建过程中遇到的关键科学问题,并借鉴ChatGPT的技术方案,探讨多模态大模型未来的发展发展思路.[结论]ChatGPT为预训练大模型向下游任务的发展提供了良好的参考技术路径,未来的多模态大模型构建以及下游任务实现过程中,可以充分利用高质量的指令微调等技术来显著提升多模态大模型的下游任务性能.

关键词：语言大模型、预训练大模型、多模态预训练模型、ChatGPT

所属期刊栏目：7

分类号：TP393;G250(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：26-35