近期,Epoch AI這一非營利性人工智能研究機構發布了一份引人深思的報告,揭示了AI企業在推理模型領域面臨的性能增長瓶頸。報告預測,未來一年內,推理模型的性能提升速度或將顯著放緩。
這份報告深入分析了公開數據與多項假設,指出計算資源的有限性以及研究成本的急劇上升,成為了制約AI性能持續飛躍的關鍵因素。長久以來,AI行業依靠推理模型不斷刷新基準測試成績,然而這一模式正遭遇前所未有的挑戰。
Epoch AI的分析師Josh You指出,推理模型之所以備受矚目,是因為它們在特定應用場景下展現出了卓越的能力。以OpenAI的o3模型為例,該模型近幾個月來在數學與編程技能方面取得了顯著進步。然而,這些推理模型性能的提升,往往是以增加計算資源為代價的。面對復雜任務,它們需要更多的計算力,從而導致了處理時間的延長。
推理模型的訓練過程頗具創新性,它首先基于海量數據進行常規模型的訓練,隨后引入強化學習技術。這種技術如同為模型提供“智慧反饋”,幫助其不斷優化解決難題的策略。這一方法極大地加速了AI的迭代速度,但同時也暴露出了潛在的局限性。
OpenAI等前沿AI實驗室正加大對強化學習的投入。據透露,在訓練o3模型時,OpenAI使用了約十倍于前代o1模型的計算資源,其中大部分用于強化學習階段。研究者Dan Roberts表示,OpenAI的未來規劃將繼續優先發展強化學習,并計劃投入更多的計算力,這一力度甚至將超過初始模型訓練時的水平。
盡管這種策略在一定程度上加速了模型的改進,但Epoch AI的分析卻提醒我們,這種改進并非沒有邊界。隨著計算資源的增加,物理與經濟的雙重約束開始顯現。Josh You在報告中詳細闡述了性能增長的差異,指出標準AI模型訓練的性能目前保持著每年翻番的速度,而強化學習的性能則每3-5個月就能增長十倍。然而,這種快速增長的趨勢預計將在2026年前后與整體AI前沿進展趨于一致。
Josh You還強調,推理模型的規?;粌H面臨著計算資源的問題,高昂的研究開銷同樣不容忽視。他警告說:“如果研究成本持續高企,推理模型可能無法達到預期的規模。”這一觀點無疑為AI行業的未來發展蒙上了一層陰影。