DeepSeek近期在其官方社交媒體賬號上發布了一項重大開源舉措——3FS文件系統的問世,該系統被視為驅動DeepSeek所有數據訪問的核心動力。
3FS,全稱為Fire-Flyer文件系統,是一款專為現代SSD和RDMA網絡環境設計的并行文件系統。它充分利用了這些高端硬件的全部帶寬,為用戶帶來了前所未有的性能體驗。
據DeepSeek介紹,3FS在性能上表現卓越。在180節點的集群環境中,其聚合讀取吞吐量高達6.6TiB/s;而在25節點的集群中,GraySort基準測試的吞吐量更是達到了驚人的3.66TiB/分鐘。每個客戶端節點的KVCache查找峰值吞吐量也超過了40GiB/s。更為3FS采用了具有強一致性語義的分解架構,確保了數據的一致性和可靠性。
在V3/R1的應用場景中,3FS展現了其強大的實用價值。無論是訓練數據的預處理、數據集的加載,還是檢查點的保存與重新加載,3FS都能提供高效的支持。同時,在嵌入向量搜索和KVCache查找等推理任務中,3FS也展現出了出色的性能。
DeepSeek的這一開源舉措,無疑將為大數據處理和人工智能領域帶來新的突破。3FS的高效性能和穩定架構,將為數據科學家和工程師們提供更加便捷、高效的數據訪問和處理工具,推動相關領域的快速發展。