華為技術(shù)有限公司近期宣布了一項重要進展，其MindSpeed平臺現(xiàn)已全面支持DeepSeek V3模型的預(yù)訓(xùn)練及微調(diào)工作。這一消息標志著華為在人工智能領(lǐng)域的技術(shù)實力再次得到彰顯。

具體而言，MindSpeed平臺在支持DeepSeek V3模型時，采用了高效的并行配置和精細的模型參數(shù)設(shè)置。這些設(shè)置確保了模型在預(yù)訓(xùn)練和微調(diào)階段能夠達到最佳性能。相關(guān)配置和參數(shù)的詳細信息，以圖表形式呈現(xiàn)，清晰直觀。

DeepSeek團隊通過創(chuàng)新的知識蒸餾技術(shù)，成功實現(xiàn)了小型模型在推理能力上的大幅提升。華為表示，他們已在昇騰平臺上完成了蒸餾流程的驗證，經(jīng)過蒸餾的Qwen模型在特定領(lǐng)域上的表現(xiàn)取得了顯著進步。這一成果為開發(fā)者提供了寶貴的參考，使他們能夠基于這一流程訓(xùn)練出性能更優(yōu)的自定義模型。

華為昇騰平臺還完成了對Open R1項目的重要適配工作。Open R1是一個旨在完全復(fù)現(xiàn)DeepSeek-R1模型流程的開源項目，由Hugging Face官方發(fā)起。華為昇騰平臺成功打通了Open R1-Zero的GRPO流程，并支持通過vLLM等生態(tài)庫在訓(xùn)練過程中生成數(shù)據(jù)。這一進展為DeepSeek-R1模型的訓(xùn)練流程構(gòu)建提供了有力支持。

Open R1項目自發(fā)布以來，受到了業(yè)界的廣泛關(guān)注。目前，該項目已在GitHub上獲得了超過18000個星標，成為主流復(fù)現(xiàn)項目之一。華為昇騰平臺的適配工作無疑將進一步推動該項目的發(fā)展，為更多開發(fā)者提供便捷、高效的模型復(fù)現(xiàn)和訓(xùn)練工具。

華為此次宣布的進展，不僅展示了其在人工智能領(lǐng)域的深厚技術(shù)積累，也為行業(yè)內(nèi)的開發(fā)者提供了更多選擇和可能性。隨著技術(shù)的不斷進步和應(yīng)用場景的不斷拓展，華為昇騰平臺將繼續(xù)發(fā)揮其在人工智能領(lǐng)域的優(yōu)勢，推動行業(yè)的持續(xù)發(fā)展和創(chuàng)新。