華為技術有限公司近期宣布了一項重要進展，其MindSpeed平臺現(xiàn)已全面支持DeepSeek V3模型的預訓練及微調工作。這一消息標志著華為在人工智能領域的技術實力再次得到彰顯。
具體而言，MindSpeed平臺在支持DeepSeek V3模型時，采用了高效的并行配置和精細的模型參數(shù)設置。這些設置確保了模型在預訓練和微調階段能夠達到最佳性能。相關配置和參數(shù)的詳細信息，以圖表形式呈現(xiàn)，清晰直觀。
DeepSeek團隊通過創(chuàng)新的知識蒸餾技術，成功實現(xiàn)了小型模型在推理能力上的大幅提升。華為表示，他們已在昇騰平臺上完成了蒸餾流程的驗證，經(jīng)過蒸餾的Qwen模型在特定領域上的表現(xiàn)取得了顯著進步。這一成果為開發(fā)者提供了寶貴的參考，使他們能夠基于這一流程訓練出性能更優(yōu)的自定義模型。
華為昇騰平臺還完成了對Open R1項目的重要適配工作。Open R1是一個旨在完全復現(xiàn)DeepSeek-R1模型流程的開源項目，由Hugging Face官方發(fā)起。華為昇騰平臺成功打通了Open R1-Zero的GRPO流程，并支持通過vLLM等生態(tài)庫在訓練過程中生成數(shù)據(jù)。這一進展為DeepSeek-R1模型的訓練流程構建提供了有力支持。
Open R1項目自發(fā)布以來，受到了業(yè)界的廣泛關注。目前，該項目已在GitHub上獲得了超過18000個星標，成為主流復現(xiàn)項目之一。華為昇騰平臺的適配工作無疑將進一步推動該項目的發(fā)展，為更多開發(fā)者提供便捷、高效的模型復現(xiàn)和訓練工具。
華為此次宣布的進展，不僅展示了其在人工智能領域的深厚技術積累，也為行業(yè)內的開發(fā)者提供了更多選擇和可能性。隨著技術的不斷進步和應用場景的不斷拓展，華為昇騰平臺將繼續(xù)發(fā)揮其在人工智能領域的優(yōu)勢，推動行業(yè)的持續(xù)發(fā)展和創(chuàng)新。
