DeepSeek、AIを高速化するファイルシステム「3FS」のオープンソース化を発表

https://gigazine.net/news/20250303-deepseek-parallel-file-system-fire-flyer/#google_vignette

DeepSeekは、2025年2月24日からさまざまなAI技術のオープンソース化を発表するイベント「OpenSourceWeek」を催しており、
NVIDIAのHopperアーキテクチャベースのGPU向けに開発されたMLAデコードカーネル「FlashMLA」や、
Mixture of Experts(MoE)モデルのトレーニングと推論を高速化できる通信ライブラリ「DeepEP」などがこれまでに発表されています。

5日目となる2025年2月28日には、 SSDとRDMAネットワークを念頭に設計された並列ファイルシステムである「3FS」が発表されました。
3FSは、Filesystem in Userspace(FUSE)を採用したLinuxベースのファイルシステムで、3FSを自社サーバーに使うことでDeepSeekは7.3TB毎秒の総読み取りスループットを達成しているとのこと。

AIの進化を支えるハイ・パフォーマンス・コンピューティング(HPC)では、GPUが絶えずランダムなトレーニングデータにアクセスしてLLMをトレーニングしており、その際のデータの読み取りは基本的に1回限りです。

特に、同じデータを同じ順序で繰り返し読み取ると、LLMの中で無関係なデータがセットで学習されてしまうため、読み取りキャッシュの使用はAIを開発する上で有害でさえあります。

読み取りキャッシュがほとんど役に立たたないことから、3FSでは読み取りキャッシュをほぼ完全に無視してランダム読み取り速度を最優先としており、
この点で3FSは他のファイルシステムとは一線を画しているといわれています。

DeepSeekのサーバークラスターのひとつである「Fire-Flyer 2」のオペレーションを担当するチームが、2024年8月に発表した3FSに関する論文によると、
DeepSeekは容量が16TBのSSD16台と、200Gbpsのネットワーク・インターフェイス・カード(NIC)2台で構成されたストレージノードを180台運用しているとのこと。

DeepSeekは、このサーバークラスターで3FSを使うことで6.6TiB毎秒のパフォーマンスを達成したほか、
25台のストレージノードと50台のコンピューティングノードのクラスターで行ったGraySortベンチマークでは、
8192のパーティションに分散された110.5TiBのデータをわずか30分強でソートし、平均3.66TiB毎分のスループットを実現したとしています。