“本質(zhì)上來說，人類和動物的能力和今天我們看到的AI的能力之間是有差距的。簡單來說，機(jī)器學(xué)習(xí)和人類動物相比并不特別好?！?月9日，圖靈獎得主、深度學(xué)習(xí)三巨頭之一的楊立昆（Yann LeCun）在2023北京智源大會上表示。
在名為《走向能夠?qū)W習(xí)、推理和規(guī)劃的大模型》的線上演講中，楊立昆講述了他對大語言模型發(fā)展路線的系統(tǒng)思考。他認(rèn)為，GPT這樣的主流路線存在局限，想讓AI獲得如人一般對真實世界學(xué)習(xí)、應(yīng)對和規(guī)劃的能力，可以閱讀他在一年前所發(fā)表的論文中提出的架構(gòu)“自主智能（Autonomous Intelligence）”。
(相關(guān)資料圖)
不看好自我監(jiān)督學(xué)習(xí)
楊立昆表示，最近幾年，科學(xué)家更多使用機(jī)器自我監(jiān)督學(xué)習(xí)，但這些系統(tǒng)會犯愚蠢的錯誤，不會推理和規(guī)劃，只是快速地反應(yīng)。
“那么，我們?nèi)绾巫寵C(jī)器像動物和人類一樣理解世界的運作方式，并預(yù)測其行動的后果？”楊立昆問道。
在回答這個問題之前，首先要了解什么是自我監(jiān)督學(xué)習(xí)?！白晕冶O(jiān)督學(xué)習(xí)捕捉輸入中的依賴關(guān)系。在最常見的范例中，我們遮蓋輸入的一部分后將其反饋送到機(jī)器學(xué)習(xí)系統(tǒng)中，然后揭曉其余的輸入——訓(xùn)練系統(tǒng)會捕捉看到的部分和尚未看到的部分之間的依賴關(guān)系。有時是通過預(yù)測缺失的部分來完成的，有時不完全預(yù)測。這種方法在自然語言處理的領(lǐng)域取得了驚人的成功。最近大模型的所有成功都是這個想法的一個版本?！彼f。
“如果將這些模型訓(xùn)練在一萬億個Token或兩萬億個Token的數(shù)據(jù)上，它們的性能是驚人的。但最終，它們會犯很愚蠢的錯誤。它們會犯事實錯誤、邏輯錯誤、不一致性，它們的推理能力有限，會產(chǎn)生有害內(nèi)容?！睏盍⒗ブ赋?，“因為它們沒有關(guān)于基礎(chǔ)現(xiàn)實的知識，它們純粹是在文本上進(jìn)行訓(xùn)練的。這些系統(tǒng)在作為寫作輔助工具、幫助程序員編寫代碼方面非常出色，但它們可能會產(chǎn)出虛構(gòu)的故事或制造幻覺?！?/p>
AI面臨的三個挑戰(zhàn)
再來看看人類和動物?！拔覀兛吹綃雰涸谏那皫讉€月內(nèi)掌握了大量關(guān)于世界運作方式的基礎(chǔ)概念：如物體永恒性、世界是三維的、有機(jī)和無機(jī)物體之間的區(qū)別、穩(wěn)定性的概念、自然類別的學(xué)習(xí)以及重力等非常基本的概念。嬰兒9個月大就能會這些?！睏盍⒗ケ硎?，如果向5個月大的嬰兒展示將小汽車從平臺上推下來，嬰兒不會感到驚訝，但是10個月大的嬰兒會非常驚訝，因為嬰兒已經(jīng)知道了物體應(yīng)該在重力下下落。這些基本概念是通過觀察世界和體驗世界來習(xí)得的。研究者也應(yīng)該用機(jī)器復(fù)制這種通過觀察或體驗世界來學(xué)習(xí)世界運作方式的能力。
如何做到這一點？楊立昆提出了未來幾年AI面臨的三個挑戰(zhàn)。第一，學(xué)習(xí)世界的表征和預(yù)測模型；第二，學(xué)習(xí)推理。參考系統(tǒng)1和系統(tǒng)2的概念。系統(tǒng)1是與潛意識計算相對應(yīng)的人類行為或行動，是無需思考即可完成的事情，系統(tǒng)2是有意識、有目的地運用全部思維力去完成的任務(wù)。目前，人工智能基本上只能實現(xiàn)系統(tǒng)1中的功能，而且并不完全；第三，如何通過將復(fù)雜任務(wù)分解成簡單任務(wù)，以分層的方式運行來規(guī)劃復(fù)雜的行動序列。
大約一年前，楊立昆發(fā)表了一篇論文。他說，那篇論文是關(guān)于他對未來10年人工智能研究走向的愿景?！霸谖姨岢龅倪@個系統(tǒng)中，核心是世界模型（World Model）。世界模型可以為系統(tǒng)所用，它可以想象一個場景，基于這樣的場景作為依據(jù)，預(yù)測行動的結(jié)果。因此，整個系統(tǒng)的目的是找出一系列根據(jù)其世界模型預(yù)測的行動，能夠最小化一系列成本的行動序列。”
AI與渦輪噴氣發(fā)動機(jī)
在與清華大學(xué)教授、智源首席科學(xué)家朱軍的對話環(huán)節(jié)中，楊立昆被問及對通用人工智能是否威脅人類的看法。據(jù)悉，他將參加一個辯論，與深度學(xué)習(xí)三巨頭之一的約書亞·本吉奧（Yoshua Bengio）、未來生命研究所創(chuàng)始人邁克斯·泰格馬克（Max Tegmark）和研究復(fù)雜系統(tǒng)的前沿科學(xué)家梅拉妮·米歇爾（Melanie Mitchell）探討人工智能會不會成為人類生存的威脅。
“在這場辯論中，邁克斯·泰格馬克和約書亞·本吉奧將站在“是”的一邊，認(rèn)為強大的AI系統(tǒng)可能對人類構(gòu)成存在風(fēng)險。而我和梅拉妮·米歇爾將站在“否”的一邊。我們的論點不是說沒有風(fēng)險，而是這些風(fēng)險雖然存在，但可以通過謹(jǐn)慎的工程設(shè)計輕易地加以減輕或抑制?！睏盍⒗フf。
“今天問人們，我們是否能夠確保超級智能系統(tǒng)對人類是安全的，這是無法回答的，因為我們還沒有超級智能系統(tǒng)的完整設(shè)計。除非你有一個基本設(shè)計，否則你無法保證它安全。這就像你在1930年問航空工程師，你能把渦輪噴氣發(fā)動機(jī)做得安全可靠嗎？工程師會問，什么是渦輪噴氣發(fā)動機(jī)？因為1930年還沒發(fā)明出渦輪噴氣發(fā)動機(jī)?！睏盍⒗ゴ蛄诉@個比方，“所以，我們的處境有點相似?，F(xiàn)在斷言，我們不能確保這些系統(tǒng)安全有點為時過早，因為我們還沒有發(fā)明出它們?！?/p>
（原標(biāo)題：圖靈獎得主楊立昆：類GPT主流路線存在局限，仍不如人和動物）
標(biāo)簽：
