近日,澎峰科技對(duì)外公布了一項(xiàng)重要技術(shù)進(jìn)展,該公司自主研發(fā)的PerfXLM+推理框架已成功實(shí)現(xiàn)對(duì)海光DCU的深度適配與優(yōu)化,特別針對(duì)DeepSeek全系列模型進(jìn)行了專(zhuān)項(xiàng)優(yōu)化。
澎峰科技在其官方網(wǎng)站上展示了這一成果,并表示此次適配通過(guò)優(yōu)化底層架構(gòu),充分發(fā)揮了海光DCU的強(qiáng)大算力。特別是在處理DeepSeek-R1-Distill系列等模型時(shí),結(jié)合海光DCU的并行計(jì)算能力,PerfXLM+推理框架有效降低了資源消耗,顯著提升了推理效率。
在生態(tài)方面,海光DCU基于GPGPU通用加速計(jì)算架構(gòu)設(shè)計(jì),兼具出色的兼容性和生態(tài)開(kāi)放性。這意味著DeepSeek模型可以直接在海光DCU上運(yùn)行,無(wú)需進(jìn)行復(fù)雜的底層適配工作。技術(shù)團(tuán)隊(duì)可以更加專(zhuān)注于模型的精度驗(yàn)證和性能優(yōu)化,從而加快部署進(jìn)程。PerfXLM+推理框架還通過(guò)模型量化、算子融合等核心技術(shù),為企業(yè)提供了低成本、高穩(wěn)定性的AI推理服務(wù)。
在應(yīng)用場(chǎng)景方面,澎峰科技的PerfXLM+推理框架已經(jīng)覆蓋了自然語(yǔ)言處理、多模態(tài)理解等核心領(lǐng)域。借助海光DCU集群,客戶(hù)可以快速迭代和彈性擴(kuò)展模型,滿(mǎn)足各行業(yè)對(duì)實(shí)時(shí)推理的需求,推動(dòng)AI技術(shù)的規(guī)模化應(yīng)用。
此前中科曙光國(guó)家先進(jìn)計(jì)算產(chǎn)業(yè)創(chuàng)新中心有限公司也宣布了海光信息技術(shù)團(tuán)隊(duì)成功完成DeepSeek V3和R1模型與海光DCU的國(guó)產(chǎn)化適配,并正式上線(xiàn)。這一消息進(jìn)一步證明了海光DCU在AI領(lǐng)域的應(yīng)用潛力和澎峰科技在AI推理框架方面的技術(shù)實(shí)力。