近日，螞蟻集團的Ling團隊在預印版Arxiv平臺上發布了一篇技術論文，揭示了該團隊在混合專家（MoE）大語言模型領域的最新突破。他們推出了兩款名為百靈輕量版（Ling-Lite）與百靈增強版（Ling-Plus）的新模型，并提出了一系列創新方法，使得在低性能硬件上高效訓練大模型成為可能，極大地降低了成本。
百靈輕量版擁有168億參數（其中27.5億為激活參數），而增強版基座模型的參數規模更是高達2900億（激活參數為288億）。這兩款模型在性能上均達到了行業領先水平。實驗證明，即使在使用國產GPU的低性能設備上，3000億參數的MoE大模型也能完成高效訓練，其性能與完全使用英偉達芯片的同規模稠密模型及MoE模型不相上下。
通常，MoE模型的訓練依賴于高性能GPU，如英偉達的H100或H800，但高昂的成本和芯片短缺問題限制了其在資源受限環境中的應用。螞蟻集團Ling團隊針對這一問題，提出了“不使用高級GPU”擴展模型的目標，并通過一系列創新訓練策略，成功突破了資源與預算的限制。
這些創新策略包括架構與訓練策略的革新，采用了動態參數分配與混合精度調度技術；升級了訓練異常處理機制，通過自適應容錯恢復系統縮短了中斷響應時間；優化了模型評估流程，自動化評測框架使得驗證周期縮短了超過50%；還突破了工具調用能力，基于知識圖譜的指令微調提升了復雜任務的執行精度。
為了驗證這些創新方法的有效性，Ling團隊在五種不同硬件配置下對9萬億個token進行了Ling-Plus的預訓練。結果顯示，使用高性能硬件配置訓練1萬億token的預訓練成本約為635萬元人民幣。而采用螞蟻集團的優化方法后，低規格硬件的訓練成本降至約508萬元人民幣，節省了近20%的成本。同時，該模型的性能與阿里的通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當。
此前，DeepSeek已通過算法創新和工程優化，使用英偉達H800訓練出了性能頂尖的V3與R1模型，為降低成本和提高效率開辟了新途徑。螞蟻集團的這一技術成果，如果得到驗證和推廣，將有助于國產大模型尋找成本更低、效率更高的國產芯片或其他替代方案，進一步降低對英偉達芯片的依賴。
螞蟻集團的Ling團隊還強調了他們在訓練過程中的靈活性和適應性。通過優化訓練策略和異常處理機制，他們能夠在不同硬件配置上實現高效訓練，這對于推動大模型在更廣泛場景中的應用具有重要意義。
這一技術突破不僅展示了螞蟻集團在人工智能領域的深厚實力，也為國產大模型的發展提供了新的思路和方向。未來，隨著技術的不斷成熟和應用場景的拓展，國產大模型有望在全球市場上占據更加重要的地位。
螞蟻集團的Ling團隊在技術創新的同時，也注重了技術的開放性和共享性。他們希望通過與行業伙伴的合作與交流，共同推動人工智能技術的快速發展和廣泛應用。
