近期，專注于AI芯片與解決方案的SambaNova公司宣布了一項重大進展，在其基于自主研發的SN40L RDU處理器的云平臺上，推出了DeepSeek-R1 671B模型推理云服務。據稱，這一服務在業界內以極快的token輸出速度脫穎而出，每秒可處理198個prompts。
SN40L RDU芯片是SambaNova的技術核心，它采用了臺積電先進的5nm制程工藝，BF16算力高達638 TFLOPS。更令人矚目的是其獨特的三層存儲結構設計：片內配備了520MB的SRAM緩存，通過2.5D封裝集成了64GB的HBM內存，外加片外的1.5TB超大容量DDR DRAM內存。這一設計使得SN40L RDU芯片能夠容納遠超同類競品的模型參數。
除了強大的硬件配置，SN40L RDU芯片在結構上還具備高度的靈活性。它能夠根據實際需求動態重新配置硬件資源和數據流，從而顯著提升計算效率和內存訪問速度。這種靈活性使得SambaNova的云平臺在處理復雜AI任務時，能夠展現出卓越的性能。
SambaNova公司進一步強調，他們僅需一個配備16個SN40L RDU芯片的機架，即可成功部署DeepSeek-R1 671B模型推理服務。這一部署方案不僅高效，而且大大降低了運營成本，為AI應用的廣泛推廣奠定了堅實基礎。
