问：MOSS是什么，主要有什么作用？

答：MOSS是一个对话式语言模型，它可以为人们的生活提供各种直接或间接的帮助。它可以进行生活常识问答，帮助查询天气、规划行程等；可以辅助高效办公，例如自动处理表格，生成大纲、草稿、翻译等，还掌握金融、医疗、教育等领域专业知识。许多行业正在引入以MOSS为代表的对话式语言模型，比如汽车语音助手、客服等，这些都将产生降本增效的效果。

问：您对MOSS的具体训练过程是怎样的？

(资料图片仅供参考)

答：大模型中参数的本质是海量的矩阵，这些矩阵对输入的文本进行简单、繁重、重复的数字运算，最终得到需要生成的内容。我们可以通过对网络上的语料进行收集、“清洗”，并让大模型从这些语料中学习知识。具体而言，学习过程就是不断“阅读”文本，并调整大模型内部参数，使其对语言的理解不断加深，最终获得某种“智能”，这个过程称为训练。

在搭建MOSS的过程中，我们通过三阶段“阅读”赋予MOSS强大的能力。一是基础知识获取阶段。MOSS通过广泛“阅读”网络上几乎所有的文本，由于巨大的参数量，其足以涵盖海量知识。二是对话能力获取阶段。MOSS通过“阅读”对话数据，学习利用第一阶段获取的知识，以对话的方式回答人类的问题。三是对齐阶段。由于有些回复可能会有误导性，MOSS会根据人类的反馈来抑制生成不符合人类法律和道德伦理的内容，使回答更客观、更理性。

问：MOSS和ChatGPT相比有哪些差异？

答：ChatGPT的训练数据涵盖十分广泛，用户体验良好。MOSS作为学术界的尝试，我们希望通过打造开源对话式的语言模型，向学术界分享更前瞻的理论和工程经验。

问：MOSS是来源于电影《流浪地球2》吗？它的未来目标是什么？

答：MOSS的名字与《流浪地球2》这部电影有关，电影中的人工智能机器人MOSS展现出极强的智能和理性，成为人类的得力助手。我们从对话式语言模型发展中看到了人工智能的巨大潜力，因此起名MOSS，这个名字寄托这我们对人工智能技术未来发展的期待。

未来的MOSS会越来越“聪明”。我们将充分利用火山引擎等平台提供的云端算力和资源，与更多同行开展模型迭代和技术交流，不断探索对话式大模型和大型语言模型的技术前沿，让人工智能技术更好地造福人类社会。

(彭训文、张嘉幸采访整理)

关键词：