(資料圖片)

云從科技近期接受機(jī)構(gòu)調(diào)研時(shí)表示，從技術(shù)角度來(lái)看，公司認(rèn)為ChatGPT是一個(gè)下游任務(wù)遷移之后更加專用的大模型，主要面向自由對(duì)話任務(wù)(Chat)。一方面，ChatGPT的成功，本質(zhì)上是在GPT的基礎(chǔ)上引入了基于人類反饋的強(qiáng)化學(xué)習(xí)，即引入人類專家的知識(shí)和偏好，這與公司的CWOS操作系統(tǒng)的理念比較相近。但我們認(rèn)為純粹依靠海量數(shù)據(jù)做深度學(xué)習(xí)的模型，在未來(lái)可能會(huì)遇到瓶頸。另一方面，GPT的成功也證明了引入專家知識(shí)做下游任務(wù)的遷移，最終得到專用的模型是正確的路徑。這是一種實(shí)踐層面的勝利，而非技術(shù)層面的革命性進(jìn)步。

從業(yè)務(wù)角度來(lái)看，之前基于公司業(yè)務(wù)的需求，公司對(duì)預(yù)訓(xùn)練模型生成式的AI技術(shù)展開(kāi)了相關(guān)研究，主要出發(fā)點(diǎn)是公司通過(guò)提升絕對(duì)性能方面的優(yōu)勢(shì)，以便在CV領(lǐng)域繼續(xù)保持相應(yīng)的技術(shù)地位，并且保持算法性能(即算法效果的技術(shù)水平)。同樣公司在具體業(yè)務(wù)中發(fā)現(xiàn)，很多具體場(chǎng)景下有效數(shù)據(jù)(樣本)較少，此時(shí)，預(yù)訓(xùn)練模型就能在降低對(duì)數(shù)據(jù)依賴的方面提供有效的幫助。

從行業(yè)角度來(lái)看，目前業(yè)界認(rèn)為，大概達(dá)到千億級(jí)的參數(shù)規(guī)模后，智能化的效果將達(dá)到明顯的提升。公司目前正在考慮減少NLP的中間技術(shù)研究，并集中精力投入到超級(jí)語(yǔ)言模型方面的探索，并加大算力、算法以及參數(shù)規(guī)模的投入。

標(biāo)簽：