(資料圖片)
·高文表示，開發(fā)大模型不是拍腦袋、喊口號那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對于高校和初創(chuàng)企業(yè)而言是一個門檻?！拔覀兓镜南敕ň褪怯鸣i城實驗室的算力、公開渠道的數(shù)據(jù)，訓(xùn)練出大模型底座面向全社會開放，供研究人員、創(chuàng)業(yè)者使用?！?/em>
5月22日，中國工程院院士、鵬城實驗室主任高文在2023大灣區(qū)人工智能分論壇上表示，要利用鵬城實驗室的算力、公開渠道的數(shù)據(jù)，訓(xùn)練出大模型底座面向全社會開放，供研究人員和創(chuàng)業(yè)者使用。
鵬城實驗室是中央批準(zhǔn)成立的突破型、引領(lǐng)型、平臺型一體化的網(wǎng)絡(luò)通信領(lǐng)域新型科研機構(gòu)，聚焦寬帶通信、新型網(wǎng)絡(luò)、網(wǎng)絡(luò)智能等國家重大戰(zhàn)略任務(wù)開展重大科學(xué)問題和關(guān)鍵核心技術(shù)研究。
高文表示，目前的人工智能是新一輪浪潮，ChatGPT對技術(shù)和社會發(fā)展帶來了巨大沖擊?！拔覀儽仨氁獞?yīng)對，企業(yè)有企業(yè)的應(yīng)對方案，國家也有國家的應(yīng)對方案。企業(yè)動作比較快，國內(nèi)有很多頭部企業(yè)都在做自己的大模型。當(dāng)然能否做得比ChatGPT好那是另外一回事，至少要做。不做就什么都不會發(fā)生，做了至少有些事情會發(fā)生。”
他表示，開發(fā)大模型不是拍腦袋、喊口號那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對于高校和初創(chuàng)企業(yè)而言是一個門檻。目前鵬城實驗室給出的方案是投入40億元開發(fā)了E級智算平臺“鵬城云腦II”，具有100億億次的半浮點運算操作能力。他表示，“鵬城云腦II”一個月之內(nèi)可以訓(xùn)練出GPT-3、GPT-3.5。“我們正在啟動做下一臺機器，大概會用60億元左右做16000P這么大算力的機器。這兩臺機器加在一起，解決目前為止所有大模型的訓(xùn)練都是綽綽有余的。”
解決了算力問題，剩下的就是數(shù)據(jù)和算法?！八惴ìF(xiàn)在幾乎屬于公開知識，數(shù)據(jù)方面，我們準(zhǔn)備首先用最大的能力去獲取盡可能多的數(shù)據(jù)，從公開渠道或者從購買的渠道獲取數(shù)據(jù)來訓(xùn)練模型。我們基本的想法就是用鵬城實驗室的算力、公開渠道的數(shù)據(jù)，訓(xùn)練出大模型底座面向全社會開放，供研究人員、創(chuàng)業(yè)者使用?！?/p>
高文同時提到了增強大模型技術(shù)平臺計劃，利用個人數(shù)據(jù)增強訓(xùn)練出更好的模型，推動國內(nèi)尤其是粵港澳大灣區(qū)新一代人工智能的發(fā)展。他表示，所謂“增強”就是數(shù)據(jù)方在保證隱私和數(shù)據(jù)安全的情況下將個人數(shù)據(jù)貢獻(xiàn)出來進(jìn)行訓(xùn)練，增強模型可能比標(biāo)準(zhǔn)模型更好更強，并且增強模型只向數(shù)據(jù)提供方提供。“當(dāng)然我們有很多細(xì)節(jié)機制，后續(xù)只要大家加入這個聯(lián)盟，就會慢慢了解到這些細(xì)節(jié)機制。當(dāng)然也可以提出意見、建議，讓聯(lián)盟做得更好。”
（原標(biāo)題：高文：將訓(xùn)練大模型底座面向全社會開放，供研究者創(chuàng)業(yè)者使用）
標(biāo)簽：
