楊立昆Yann LeCun開示
具有大規模語言模型的自然語言生成通常會產生與現實脫節的錯誤陳述，那是因為大型語言模型並不以現實為基礎。
他們沒有學過現實世界中的常識（更不用說“輕微意識”）。
香港科技大學 Pascale Fung 小組的研究非常好。 許多基於 LLM 的語言生成系統產生明顯清晰的文本的表面上令人印象深刻的能力，我們不應該認為那些內容是真實的。 除了少數例外，這些系統對現實一無所知，也與現實無關。
他們產生幻覺。 他們搞砸了。
它們對很多事情都有用，但它們不應該用於它們不能做的事情（例如，不能用於醫學診斷之類的事情）。 第一步是將它們連接到可以從中檢索事實的知識庫。 但這只是第一步。 最終，人工智慧的研究將弄清楚如何在現實中建立人工智慧系統。 但這需要一段時間。
補充
Yann LeCun 所提到的是由香港科技大學團隊所發表在的文章 << Survey of Hallucination in Natural Language Generation (調查報告: 自然語言生成的幻覺) >>
連結: https://arxiv.org/abs/2202.03629
論文摘要
由於深度學習技術（例如基於 Transformer 的語言模型）的發展，自然語言生成（NLG）近年來呈指數級增長。這一進步導致自然語言生成更加流暢和連貫，自然導致下游任務的發展，例如抽象摘要、對話生成和數據到文本生成。然而，也有研究發現，這種生成包括幻覺文本，這使得文本生成的性能在許多現實世界場景中無法滿足用戶的期望。為了解決這個問題，幻覺的評估和緩解方法的研究已經在各種任務中提出，但沒有以組合的方式進行審查。在本次調查中，我們對 NLG 幻覺問題的研究進展和挑戰進行了廣泛的概述。該調查分為兩大部分：（i）指標、緩解方法和未來方向的總體概述； (ii) 大量下游任務中幻覺的特定任務研究進展：抽象摘要、對話生成、生成式問答、數據到文本生成和機器翻譯。這項調查可以促進研究人員在這些任務中的合作努力。
