訪談背景
在 2024年4月人工智慧 Hinton 和 Hellermark ——在倫敦的英國皇家學院進行了一場意義深遠的對話。這次的對話後來在2024年5月15日於瑞典斯德哥爾摩的 Sana AI峰會 上首次公開播放。
訪談中談到了 Hinton 的學生、 OpenAI的共同創辦人 Ilya Sutskever，以及 Hinton 對於大型語言模型、腦神經科學以及研究題目的選擇等主題。可說分分鐘都是精華，這篇文章節錄一些有啟發性的片段，並且附上延伸的參考資料，若有推薦參考資料也歡迎留言。
Geoffrey Hinton 介紹
Geoffrey Hinton，於1947年12月6日出生於英格蘭倫敦的溫布頓，是一位英國和加拿大的計算機科學家及認知心理學家，以其在類神經網絡領域的突出貢獻聞名。Hinton 於劍橋大學和愛丁堡大學受教育，1978年獲得人工智慧博士學位。
他與 David Rumelhart 及 Ronald J. Williams 共著的 1986年論文普及了用於訓練多層神經網絡的反向傳播算法(Back Propagation)。
2018年，Geoffrey Hinton 與 Yoshua Bengio 和 Yann LeCun 共獲圖靈獎（Turing Award），表彰他們在深度學習領域的貢獻。Hinton 的著名學生包括 CNN 發明者、Meta 首席 AI科學家 Yann LeCun 和 OpenAI 的共同創辦人 Ilya Sutskever，他們在計算機視覺和機器學習領域均有卓越成就。
Ilya Sutskever 介紹
Ilya Sutskever 是 OpenAI 的共同創辦人及前首席科學家。他擁有俄羅斯、以色列和加拿大的國籍。
Ilya 在深度學習領域做出了多項重要貢獻。2023年，他作為 OpenAI 董事會成員之一解雇了首席執行官 Sam Altman；一週後，Sam Altman 返回，Ilya 隨後退出董事會。
他與 Alex Krizhevsky 和 Geoffrey Hinton 共同發明了卷積神經網絡 AlexNet。此外，Ilya Sutskever 還是許多 AlphaGo 論文的共同作者之一。
一、Ilya Sutskever 的大膽之舉
這敲門不是隨隨便便的輕敲，而是一種急切的敲門
在訪談中，Hinton 回憶了一段往事，講述了 Ilya Sutskever 在他學術生涯的初期，是怎樣一股腦兒地推開他的辦公室門。這敲門不是隨隨便便的輕敲，而是一種急切的敲門，讓 Hinton 覺得自己非得起身不可。
當時 Hinton 走到門前，便見到一名青年學生站在門外。Ilya 對他說，他那個夏天本在炸薯條賺外快，但他更想在 Hinton 的實驗室裡頭做事。這份說話透露了 Ilya 的熱忱和對學術研究的渴望，也顯示出他對未來的職涯有了清晰的規劃。
Hinton 感受到這份急迫，便建議 Ilya 安排一個正式的會議來談。但 Ilya 的回答是：“不如就現在如何？ (How about now?)” 這番話不僅表露出他的果敢與自信，也突顯了他不願錯失任何良機的決心。
這一次的敲門，成了 Ilya 學術生涯的一個轉折點。Hinton 被他的直率與熱情所打動，最終同意讓他加入實驗室。後來這個故事在科技界流傳開來，成了一個追逐夢想和把握機會的佳話。
延伸參考資料：
- YouTube 影片：《邁向通用人工智慧的興奮與危險之旅 | Ilya Sutskever | TED》
- YouTube 影片：《Ilya Sutskever：深度學習 | Lex Fridman Podcast #94》
二、大型語言模型與文字接龍
為了「預測」下一個符號，你必須理解過去所有的內容。所以，讓模型學習預測下一個符號，實際上是在迫使它去「理解」內容。
在訪談中，Hinton 特別強調了語言模型在預測下一個符號時所需的理解和推理能力。他解釋說：“大多數人認為自動完成（auto-completion） 只是在預測下一個符號，但事實上，為了預測下一個符號，你必須理解之前所說的內容。所以，通過讓模型預測下一個符號，實際上是在迫使它去理解內容。”
他進一步闡述，這種理解方式與人類非常相似：“許多人會說這些模型與我們不同，它們只是預測下一個符號，並不像我們那樣進行推理。但實際上，為了預測下一個符號，模型必須進行某種形式的推理。”
這一觀點挑戰了傳統自動完成系統的看法，這些系統通常依賴於儲存字詞並根據頻率來預測下一個詞。然而，現代的語言模型需要深入理解上下文，以便準確預測下一個符號，突顯了它們不僅僅是在做簡單的符號預測，而是在進行類似於人類理解的複雜推理過程，展示了語言模型的強大能力和在預測與理解方面的深度學習能力。
延伸參考資料：
- YouTube影片：《為什麼預測下一個符號足以實現通用人工智慧（Why next-token prediction is enough for AGI）- Ilya Sutskever（OpenAI首席科學家）》
三、腦神經科學與人工智慧
時間尺度（time scales) 的概念在神經科學中佔有一席之地，但這是當前類神經網絡尚未能很好對應的一個領域
在訪問的這一部分中，Hinton 探討了當前 類神經網絡的限制以及它們與 神經科學（Neuroscience）之間的差距。
Hinton 強調了 時間尺度（time scales) 的概念在腦神經科學中的重要性，這是當前類神經網絡未能借鑑的一個重要概念。
在大多數神經網絡中，存在兩種時間尺度：一種是快速變化的活動時間尺度，當輸入進來時，活動和嵌入向量（embedding vectors）會迅速變化；另一種是更慢的時間尺度，涉及長期學習中的權重（weights）調整。
他以一個例子來說明這一點：如果他突然說出 “cucumber” (黃瓜) 這個詞，然後五分鐘後你戴上耳機在嘈雜的環境中聽到這個詞，你會更容易識別出這個詞。這說明大腦中有短暫的突觸 (synapse) 變化來存儲這類信息，這不是靠某些神經元在不斷重複 “cucumber” (黃瓜)，而是通過臨時的權重變化來實現。
Hinton 提到，這種稱為 “快速權重”（fast weights） 的概念在腦神經科學中被證明是非常有用的，但在當前的類神經模型中卻很少使用。
這是因為如果權重的變化依賴於輸入數據，那麼模型就無法同時處理多個不同的情況。他認為，如何在類神經網絡中實現類似大腦使用快速權重的功能，是當前人工智慧研究需要學習和發展的一個重要方向。
延伸參考資料：
- NeurIPS 論文：Ba, Jimmy, et al. “Using fast weights to attend to the recent past.” Advances in neural information processing systems 29 (2016).
- YouTube 影片：Geoffrey Hinton: Using Fast Weights to Store Temporary Memories
四、選擇研究問題的藝術
尋找一個大家都認同的觀點，但直覺上感覺這個觀點是錯的。然後我會致力於研究這個問題
在訪問中，Hinton 詳細描述了他如何選擇研究問題的方法。他表示：“我會尋找一個大家都認同的觀點，但直覺上感覺這個觀點是錯的。然後我會致力於研究這個問題，看看是否能夠解釋為什麼我認為它是錯的，並且可能通過一個簡單的電腦程式來展示它的不足。”
他舉了一個例子來說明這個過程。大多數人認為，給神經網絡添加噪音會讓其表現變差。例如，如果每次輸入訓練示例時，使一半的神經元靜默，理論上應該會使網絡的性能變差。然而，事實上，如果你在訓練過程中這樣做，最終網絡的泛化能力反而會更好。這就是所謂的 “dropout”技術。
他總結說：“這就是我的工作方法——找到一些聽起來可疑的觀點，並對其進行研究，看看是否能通過簡單的展示來證明它是錯的。” Hinton 的這種方法展示了他在研究中的直覺和創新思維。他認為，質疑看似理所當然的觀點，並通過實驗和模擬來驗證自己的想法，是推動科學進步的關鍵。這種方法不僅讓他在過去的研究中取得了許多重要成果，也為年輕研究者提供了一種探索未知領域的有效策略。
延伸參考資料：
- YouTube 影片：《Geoffrey Hinton 是個天才 | Jay McClelland and Lex Fridman》
(影片裡 Jay McClelland 描述了 Hinton 是怎麼思考和他的想法是如何跨世代)
五、最重要的問題
大腦是否進行反向傳播（backpropagation）?
在這段訪談中，Hellermark 提出了一個重要的問題：如果 Hinton 現在有一組學生，他們問他應該解決哪個領域中最重要的問題，他會建議學生們專注於什麼問題。Hinton 回應道，這個問題其實是他過去30年來一直在思考的問題，即“大腦是否進行反向傳播（backpropagation）”。
Hinton 解釋說，他相信大腦確實在獲取梯度（gradients），因為如果不獲取梯度，學習的效果將遠不如獲取梯度時那麼好。然而，問題在於大腦是如何獲取這些梯度的，它是否以某種方式實現了一個近似的反向傳播版本，還是採用了一種完全不同的技術。這是一個重大的未解之謎，也是他如果繼續從事研究會專注的領域。
延伸參考資料：
- Nature 論文：《反向傳播和大腦》Lillicrap, Timothy P., et al. “Backpropagation and the brain.” Nature Reviews Neuroscience 21.6 (2020): 335-346.
- arXiv 論文：Hinton, Geoffrey. “The forward-forward algorithm: Some preliminary investigations.” arXiv preprint arXiv:2212.13345 (2022).
- YouTube 影片：Does the brain do backpropagation? CAN Public Lecture – Geoffrey Hinton – May 21, 2019
