國內多個團隊正在開發(fā)類似ChatGPT的大模型。2月20日，復旦大學率先向公眾發(fā)布了國內首個公開亮相的對話式大型語言模型MOSS。

(資料圖)

第一財經記者登錄公開平臺https://moss.fastnlp.top/，目前使用該系統需要邀請碼，若無邀請碼，輸入手機號后可加入“等待名單”。不過當天深夜記者試圖再登錄該系統，網站顯示“服務器載量過大，請于明天再試”。其他多名用戶也向第一財經記者反映了同樣的問題。

第一財經記者隨后聯系了MOSS系統開發(fā)團隊，相關負責人表示，由于當晚系統公開后訪問人數過多，可能導致服務器響應慢。

數據規(guī)模是主要限制

MOSS系統由復旦大學自然語言處理實驗室邱錫鵬教授團隊開發(fā)，可執(zhí)行對話生成、編程、問答等任務。該項目還得到了上海人工智能實驗室的支持，后期有望通過開源方式和業(yè)界社區(qū)分享。

目前，國內多家互聯網巨頭企業(yè)都在競相開發(fā)ChatGPT類似的大模型，但尚未有任何已經公布的產品。大模型的訓練需要漫長的過程，例如微軟自2016年起就已經開始做對話機器人。

ChatGPT的模型擁有上千億的參數，背后有大量的人力進行數據標注。中國團隊要在短時間內趕超并不容易。

“ChatGPT這樣的大模型能開發(fā)成功非一日之功，背后是大量的數據收集。對于MOSS而言，與ChatGPT的主要差距在于數據的規(guī)模，除了學校擁有的一些科研數據之外，現在向公眾開放內測，也是希望能夠通過大規(guī)模的數據來提升訓練的能力。”一位了解該模型開發(fā)的相關人士告訴第一財經記者。

目前，國內訓練人工智能軟件的主要障礙在于互聯網或其他數據集當中高質量中文文本的缺乏。作為ChatGPT的底層程序，GPT吸收了數十萬篇英文學術論文、新聞文章、書籍和社交媒體帖子來學習構成語言的模式；而中國互聯網公司一些對標ChatGPT的大模型，主要接受中文數據以及來自維基百科、Reddit等的英文數據訓練。

業(yè)界針對MOSS系統關注的主要問題是模型的具體參數以及訓練數據的方式。根據復旦團隊的說法，MOSS的參數量比ChatGPT小一個數量級，在任務完成度和知識儲備量上，還有很大提升空間。

不同于ChatGPT對數據進行標注再輸入模型基座的技術路線，復旦團隊通過讓MOSS和人類以及其他對話模型進行交互的方式，“端到端”走通大語言模型，提升學習效率和研發(fā)效率，短時間內可高效完成對話能力訓練。

除了對話之外，未來MOSS還將擁有更多的能力，如繪圖、語音、譜曲和教學，并可加強輔助科學家進行高效科研。

打造開源模型推動AI普惠

一位業(yè)內人士告訴第一財經記者：“頂尖學府頂尖人才開發(fā)出的大模型值得期待，但現在還看不出訓練數據的主要來源，如果真的能夠實現編程等功能，那么這個數據規(guī)模一定不會小，需要大量資金的投入。”

由于大型語言模型預訓練的研發(fā)門檻和運營成本都很高，需要大量算力、語料訓練以及人工標注，只有大型機構才有實力開發(fā)大模型。有統計數據顯示，假設ChatGPT的月活用戶為1000萬，那么每天的運行成本大約為100萬美元。一些公司計劃將精力集中在客戶服務等特定垂直行業(yè)，而不是押注于更廣泛的對話聊天機器人。

未來頭部企業(yè)將模型開源有望成為國內大型語言模型發(fā)展的一大趨勢，可有效降低預訓練語言模型的研發(fā)和應用門檻，讓中小企業(yè)在其基礎上開發(fā)出更多產品應用，推動AI普惠。

上周，北京市經濟和信息化局在一份《人工智能產業(yè)發(fā)展白皮書》中提出，全面夯實人工智能產業(yè)發(fā)展底座，支持頭部企業(yè)打造對標ChatGPT的大模型，著力構建開源框架和通用大模型的應用生態(tài)。

業(yè)內認為，有必要引導企業(yè)、高校、科研院所、新型研發(fā)機構、開源社區(qū)等圍繞人工智能關鍵核心技術創(chuàng)新協同攻關。清華大學國強教授、智能產業(yè)研究院首席研究員聶再清預測，我國可能會打造對標ChatGPT的多種形式的開源版本，可實現多機構共享。“未來學校和企業(yè)一定會在這方面有一定程度的合作。”他對第一財經記者表示。

不過在此類AI聊天機器人軟件正式向公眾普及之前，還有諸多復雜的問題待解。據悉，近期復旦大學召集了十幾家人工智能公司的高管和學者，分析ChatGPT 的發(fā)展、潛在用例以及所帶來的安全風險。

標簽： 人工智能 MOSS ChatGPT