騰訊近日宣布,其自主研發的深度思考模型——混元T1正式版已隆重面世,這款模型被譽為騰訊目前最強的推理利器。
據騰訊介紹,混元T1正式版不僅擁有極快的響應速度,能夠迅速回答用戶問題,還具備處理超長文本的強大能力。這一特性使得它在處理復雜推理任務時顯得尤為出色。
為了進一步提升推理能力,騰訊對混元T1進行了大規模強化學習,并針對數學、邏輯推理、科學以及代碼等理科難題進行了專項優化。這些努力使得混元T1在多個基準測試中取得了優異的成績。
在備受關注的大語言模型評估增強數據集MMLU-PRO中,混元T1取得了87.2分的高分,這一成績僅次于業界領先的o1模型。在Ceval、AIME、Zebra Logic等中英文知識及競賽級數學、邏輯推理的公開基準測試中,混元T1也展現出了業界領先的推理水平。
除了基礎的推理能力,混元T1還在多項對齊任務、指令跟隨任務和工具利用任務中表現出了極強的適應性。這一特性使得它在處理復雜多變的推理場景時更加游刃有余。
技術層面,混元T1正式版沿用了混元Turbo S的創新架構,并采用了Hybrid-Mamba-Transformer融合模式。這是工業界首次將混合Mamba架構無損應用于超大型推理模型,這一創新不僅降低了傳統Transformer結構的計算復雜度,還減少了KV-Cache的內存占用,從而顯著降低了訓練和推理的成本。
基于其出色的長文捕捉能力,混元T1能夠有效解決長文推理中常見的上下文丟失和長距離信息依賴問題。同時,混合Mamba架構針對長序列處理進行了專項優化,通過高效的計算方式,在確保長文本信息捕捉能力的同時,大幅降低了資源消耗。在相近的激活參數量下,混元T1實現了解碼速度的兩倍提升。
目前,騰訊已經開放了混元T1的體驗服務,并上線了相應的API接口。用戶可以通過API接口以每百萬tokens 1元的價格輸入數據,并以每百萬tokens 4元的價格獲取輸出結果。這一舉措無疑將為用戶提供更加便捷、高效的推理服務。