近期,科技界圍繞蘋果公司發布的一篇AI研究論文展開了熱烈討論。這篇名為《思維的幻象》的論文,于6月6日問世,迅速引起了專家們的關注與爭議。
論文中,蘋果公司提出了一項令人矚目的觀點:即便是目前技術最前沿的大型推理模型(LRMs),在應對復雜任務時也會遭遇崩潰。這一論斷立即引發了廣泛討論,其中Open Philanthropy的研究員Alex Lawsen尤為活躍,他對蘋果的結論提出了詳盡的反駁。
爭議的焦點集中在蘋果論文所提及的一個實驗:在處理如漢諾塔問題這樣的復雜任務時,即便是最先進的LRMs也會徹底失敗。漢諾塔問題,作為一個經典的遞歸算法難題,要求將一系列大小不同的圓盤從一個柱子移動到另一個柱子上,過程中需遵守嚴格的規則。
針對蘋果的這一發現,Lawsen在其反駁文章《思維的幻象之幻象》中,深入剖析了實驗設計的潛在問題。他認為,蘋果的研究結果更多地反映了實驗設置上的缺陷,而非LRMs推理能力的根本性不足。Lawsen指出,蘋果的研究混淆了輸出限制與評估設置的問題,導致了對模型推理能力的誤判。
為了支撐自己的觀點,Lawsen提出了三大核心質疑。首先,他強調蘋果忽略了模型在處理復雜任務時的Token預算限制。在處理8盤以上的漢諾塔問題時,一些模型如Anthropic的Claude Opus已接近輸出極限,甚至因節省Token而停止輸出。
其次,Lawsen指出蘋果的“過河”測試中包含無解謎題。例如,當角色數量與船只容量限制不匹配時,模型因拒絕解答而被扣分。這一設置無疑對模型的評估造成了不公平的影響。
最后,Lawsen批評蘋果的自動化評估腳本過于僵化。該腳本僅以完整步驟列表為標準,未能有效區分推理失敗與輸出截斷的情況,導致部分策略性輸出被錯誤地判定為失敗。
為了驗證自己的觀點,Lawsen重新設計了漢諾塔測試。他要求模型生成遞歸Lua函數來打印解法,而非逐一列出所有步驟。這一改進的測試方法取得了令人驚訝的結果:Claude、Gemini和OpenAI的o3模型均能正確生成15盤問題的算法解法,遠超蘋果報告中所述的“零成功”界限。
基于這些發現,Lawsen得出結論:在去除人為輸出限制后,LRMs在處理高復雜任務時展現出了強大的推理能力,至少在算法生成層面是如此。這表明,問題可能并不在于模型本身,而在于評估方法的選擇與應用。