天天通讯!复旦大学 MOSS 对话式大型语言模型今日开源:可通过与人类交互实现迭代优化

时间:2023-04-22 01:20:28来源 : 站长之家


(资料图片仅供参考)

编程客栈() 4月21日消息:复旦大学自然语言处理实验室今日发布了新版 MOSS 模型,这是国内首个插件增强的开源对话语言模型。

图片来自MOSS

MOSS 模型基于公开的中英文数据训练,目前已拥有 200 亿参数,具有和人类对话的能力,并可以通过与人类交互实现迭代优化。目前 MOSS 模型已上线开源,相关代码、数据、模型参数已在 github 和 Hugging Face 等平台开放,供科研人员下载。

MOSS 系统负责人邱锡鹏表示,下一阶段的大型语言模型需要和现实世界以及人类的价值观进行「对齐」,成为一个真正的智能体js。MOSS 的开源,希望改善大型语言模型的生态环境,让科研人员在该基座上接不同的细分领域。

邱锡鹏说,人们之javascript所以很容易有「卡脖子」问题,是因为缺乏一个好的行业生态。就拿 ChatGPT 来说,OpjavascriptenAI 公司只需专注做好模型,算力、数据和系统则交给其他公司。反观国内,很多公司在做大型语言模型时所有环节都需要自己做,每家的数据和算力也有限,结果是每家都做不大。在发展过程中,大型语言模型训练与在线推理成本过高也是一个重大问题。

「我们考虑把androidMOSS 开源而不是商业化,就是希望改善这种生态,有了这样一个基座,大家就不用重复开发底层技术,可以在上面接不同的细分领域。」复旦大学计算机科学技术学院教授、MOSS 系统负责人邱锡鹏说。

关键词:

推荐内容

Back to Top