有問必答，侃侃應(yīng)對。這種神奇的人機(jī)互動體驗(yàn)，勾起人們絞盡腦汁向ChatGPT提問的熱情，并為其帶來驚人的用戶量：該系統(tǒng)在兩個多月前由美國人工智能研究公司OpenAI推出，今年1月便已達(dá)到1億月活躍用戶，用戶增長速度堪稱史無前例。

這款產(chǎn)品大受歡迎，其重要幕后功臣是被業(yè)內(nèi)稱為預(yù)訓(xùn)練模型的技術(shù)。面對ChatGPT的爆火，國內(nèi)科技機(jī)構(gòu)和企業(yè)紛紛“亮劍”。據(jù)最新消息，中國版ChatGPT將于下個月與公眾見面。

參數(shù)規(guī)模從幾百萬狂飆至幾千億

“目前，預(yù)訓(xùn)練技術(shù)是人工智能研究的重要突破口。”阿里研究院未來技術(shù)中心負(fù)責(zé)人蘇中解讀，傳統(tǒng)的研究方法中，標(biāo)注成本一直是阻礙人工智能算法推向更大數(shù)據(jù)集合的障礙，而預(yù)訓(xùn)練技術(shù)不依賴數(shù)據(jù)標(biāo)注，就可以訓(xùn)練出一個大規(guī)模深度學(xué)習(xí)模型。

科技日報記者了解到，由于不需要數(shù)據(jù)標(biāo)注，預(yù)訓(xùn)練模型往往可以使用更大的數(shù)據(jù)集，因而可以選擇更大的模型規(guī)模——這就催生了預(yù)訓(xùn)練大模型。

“與以往的人工神經(jīng)網(wǎng)絡(luò)相比，預(yù)訓(xùn)練大模型最大的不同在于它規(guī)模足夠大，深度學(xué)習(xí)網(wǎng)絡(luò)的層數(shù)多、連接多、參數(shù)多。”IDEA研究院(粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院)認(rèn)知計算與自然語言研究中心講席科學(xué)家張家興接受記者采訪時介紹，2012年前后的深度學(xué)習(xí)網(wǎng)絡(luò)只有幾百萬參數(shù)；2018年前后主流的預(yù)訓(xùn)練模型達(dá)到1億參數(shù)；目前被證明非常有效的大規(guī)模預(yù)訓(xùn)練模型已有幾千億參數(shù)，短短幾年時間提升了幾千倍。

量變引起質(zhì)變。蘇中分析，在對預(yù)訓(xùn)練模型各種不同的技術(shù)評測中，算法性能展示了一個規(guī)律：數(shù)據(jù)規(guī)模越大、預(yù)訓(xùn)練模型參數(shù)越多，算法輸出精度往往也越高。

除了規(guī)模大以外，張家興談到，目前的預(yù)訓(xùn)練大模型由于采用了新的結(jié)構(gòu)模型，非常適合并行訓(xùn)練。同時，在訓(xùn)練方式上，人工神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練任務(wù)類似“解題”，比如把一句話的某個詞或前半句去掉，讓預(yù)訓(xùn)練模型利用海量大數(shù)據(jù)對句子進(jìn)行恢復(fù)，這樣訓(xùn)練下去，預(yù)訓(xùn)練模型的“解題”能力就會越來越好。而且，在大語言模型的基礎(chǔ)上，引入指令學(xué)習(xí)，可以遠(yuǎn)超模型微調(diào)帶來的收益。在此基礎(chǔ)上，人類的反饋可以幫助模型更好地理解人類意圖和接收信息，人機(jī)對話也就越來越流暢。

“ChatGPT在底層數(shù)據(jù)、核心技術(shù)、用戶體驗(yàn)等各方面都可以說是里程碑式的人工智能產(chǎn)品。”曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨表示，ChatGPT的核心技術(shù)是人工智能語言大模型，其關(guān)鍵是如何讓人工智能模型具備邏輯推理能力，以及如何讓人工智能學(xué)習(xí)全互聯(lián)網(wǎng)的知識。這些ChatGPT基本都做到了，因此在決策和知識環(huán)節(jié)有了很大的突破。

國內(nèi)多家科技機(jī)構(gòu)已布局相關(guān)領(lǐng)域

據(jù)外媒報道，多家國外科技巨頭正重金投入預(yù)訓(xùn)練模型和人工智能生成內(nèi)容(AIGC)賽道。記者了解到，國內(nèi)已有不少科技機(jī)構(gòu)和企業(yè)布局相關(guān)領(lǐng)域。

張家興告訴記者，IDEA研究院認(rèn)知計算與自然語言研究中心在此方向上布局已久，該中心擁有國內(nèi)最大的開源模型體系——封神榜，已開源的98個模型正在全力支持中國AIGC的發(fā)展，探索研發(fā)適配各個領(lǐng)域的個性化可定制模型，支持全部自然語言處理(NLP)任務(wù)。

“很高興能在深度學(xué)習(xí)高速發(fā)展的第十年節(jié)點(diǎn)上，看到AIGC和ChatGPT的出現(xiàn)，今天所有這些自然語言處理任務(wù)正在被統(tǒng)一到ChatGPT模式下，我們也正在整合之前的模型和技術(shù)，推出我們的類ChatGPT模型。”張家興說。

記者從百度獲悉，百度已投入開發(fā)類似ChatGPT的相關(guān)技術(shù)，該項(xiàng)目名字確定為文心一言，英文名ERNIE Bot，3月份完成內(nèi)測后面向公眾開放。目前，文心一言在做上線前的沖刺。

“ChatGPT主要涉及自然語言處理相關(guān)技術(shù)，屬于認(rèn)知智能領(lǐng)域的應(yīng)用之一，科大訊飛在該方向的技術(shù)和應(yīng)用方面具備長期深厚的積累。”2月8日晚，科大訊飛在投資者互動平臺回應(yīng)稱，公司已面向認(rèn)知智能領(lǐng)域陸續(xù)開源了6大類、超過40個通用領(lǐng)域的系列中文預(yù)訓(xùn)練語言模型，并于去年12月啟動生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān)，人工智能學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品，今年5月將進(jìn)行產(chǎn)品級發(fā)布。

此外，360公司2月7日在投資者互動平臺表示，該公司也計劃盡快推出類ChatGPT技術(shù)的原型版產(chǎn)品。“AIGC技術(shù)除了在搜索引擎的應(yīng)用之外，還可以輔助數(shù)字安全能力的提升。”360公司稱。

(本報記者操秀英、劉艷對此文亦有貢獻(xiàn))