近日,烽火通信科技股份有限公司傳來消息,其子公司長江計算攜手昇騰與華為云團隊,成功為某大型國有銀行部署了DeepSeek-V3大模型的本地化推理服務。這一合作標志著長江計算在AI推理服務領域取得了重要進展。
此次部署的核心設備是長江計算自主研發的G440K V2服務器。該服務器在華為云AI開發平臺ModelArts的助力下,基于MindIE推理引擎,順利完成了DeepSeek-V3大模型的推理服務部署。這一過程中,長江計算的技術實力得到了充分展現。
G440K V2服務器不僅在硬件設計上獨具匠心,更在軟件層面實現了對DeepSeek系列模型的深度適配與優化。其采用的8模組高效推理架構,為AI推理提供了強大的算力支持,確保了DeepSeek大模型在處理復雜任務時的流暢與高效。
據長江計算方面介紹,G440K V2服務器在內存帶寬和互聯能力方面具有顯著優勢。這些特性使得該服務器在部署DeepSeek系列模型時,能夠大幅提升模型推理速度、響應效率和數據處理能力。同時,該服務器還支持多機組網推理,進一步滿足了大型銀行對于高性能、高可用性的需求。
目前,G440K V2服務器已在智能客服、文案生成、知識沉淀等多個大模型推理場景中得到了廣泛應用。這些應用不僅提升了銀行業務處理的智能化水平,還確保了部署過程中的數據安全與自主可控。長江計算與昇騰、華為云團隊的緊密合作,無疑為金融行業AI推理服務的發展注入了新的活力。