誰能想到，一場泄密事件，竟成了引發(fā)“ChatGPT平替”狂潮的開端。
(資料圖)
事情的最開端，是在今年2月24日，Meta發(fā)布大語言模型LLaMA(中文意為“羊駝”)，因其參數量遠小于GPT-3，效果卻仍能優(yōu)于后者一度在圈內引起熱議。
當然，與近些年的大模型研發(fā)趨勢一樣，雖然Meta聲稱LLaMA是開源的，但仍需要研究人員申請并進行審核。
但在一周之后，日本論壇4chan(相當于國內貼吧)上卻突然出現一條帖子，上傳了一個LLaMA模型源代碼的種子文件，下載后大小約為219G，瞬間一石激起千層浪，下載量很快超越千次。
更有戲劇性的是，這個種子鏈接還被合并到了LLaMA的官方GitHub頁面，甚至還得到了部分項目維護者的批準，真的可以“點擊即用”。此后，4chan上還有用戶為那些希望自主部署該模型的人提供了詳細教程，說明了如何獲得模型，如何添加修改后的模型，如何進行更有效的推理等等。
對此，Meta官方在3月6日稱，仍將繼續(xù)向通過審核的研究人員給予LLaMA官方通道，同時，也開始著手控制LLaMA泄露源代碼的傳播。之后，開源AI平臺Hugging Face的CEO就曾站出來表示，禁止用戶上傳LLaMA泄露源代碼。
但接下來，這場“史詩級泄露事件”的火，卻燒到了令人意想不到的方向——
3月15日，斯坦福發(fā)布語言大模型Alpaca，模型由LLaMA微調而來，僅用了52k數據，其性能約等于GPT-3.5，且訓練成本還不到600美元。
3月23日，AI公司Nebuly開源了基于LLaMA的模型ChatLLama，允許用戶基于預訓練的LLaMA模型構建個性化的ChatGPT服務，且訓練速度更快，成本更低。
3月29日，加州大學伯克利分校在其Colossal-AI項目下發(fā)布了ColossalChat，這一模型通過RLHF(一種強化學習方式，類似于獎勵機制)，基于LLaMA預訓練模型提供了ChatGPT服務。
同天，AI公司Age of AI推出了語言模型FreedomGPT，其基于斯坦福的Alpaca進行開發(fā)，號稱是去掉了安全、倫理道德過濾器的ChatGPT版本。
3月31日，加州大學伯克利分校、卡內基梅隆大學、斯坦福大學和加州大學圣地亞哥分校的研究人員開源了語言模型Vicuna，這是一個與GPT-4性能相近的LLama的微調版本，訓練成本僅有300美元。
4月3日，伯克利的伯克利人工智能研究院(BAIR)發(fā)布了 Koala，這一模型同樣是一種微調過的LLama版本，在超過一半的情況下與ChatGPT性能相當。
大批LLaMA類研發(fā)的推出與LLaMA模型的源代碼泄露到底有無直接關系，不得而知。但無論如何，以LLaMA模型“被迫”開源為關鍵時間點，基于它開發(fā)的模型與服務，開始了爆炸式的增長。
有趣的是，似乎是為了呼應最初Meta家的LLaMA模型的一種含義“大羊駝”，之后斯坦福選擇了相似含義的Alpaca(羊駝)，之后又出現了Vicuna(小羊駝)……對此，有人調侃，再開發(fā)下去，“羊駝家族”的名字都快不夠用了。
對此，有人笑稱這場泄露事件促進了大批ChatGPT式服務的產生，甚至促進了AI民主化，可謂大功一件；也有人表示最初的泄露本就是Meta的“自導自演”，為的是最大限度地擴大其技術影響力；還有人認為，這場泄露事件背后也有當前大模型領域中開源VS閉源(或通過API進行分發(fā))的兩條道路之爭……
爭論不斷，熱議紛紛。當前，LLaMA項目已在GitHub收獲17.4k星，而基于它所誕生的“羊駝家族”，還在一路狂奔。
（文章來源：南方都市報·灣財社）
標簽：
