

3FS
紹介 :
3FSは、AIトレーニングと推論ワークロード向けに設計された高性能分散ファイルシステムです。最新のSSDとRDMAネットワークを活用し、共有ストレージ層を提供することで、分散アプリケーションの開発を簡素化します。その主な利点は、高性能、強力な整合性、およびさまざまなワークロードへの対応であり、AI開発と展開の効率を大幅に向上させることができます。このシステムは大規模なAIプロジェクトに適しており、特にデータ準備、トレーニング、および推論フェーズで優れた性能を発揮します。
ターゲットユーザー :
3FSは、大規模なデータセットと複雑なモデルのトレーニングを処理するAI開発者や研究チーム、特に高性能ストレージソリューションを必要とするユーザーに適しています。データ処理効率を大幅に向上させ、開発と展開のコストを削減できます。
使用シナリオ
大規模なAIトレーニングにおいて、3FSはトレーニングデータのストレージと高速アクセスに使用され、トレーニング速度を大幅に向上させます。
推論フェーズでは、3FSのKVCache機能がLLM推論に効率的なキャッシュサポートを提供し、計算コストを削減します。
3FSはデータ準備フェーズで使用され、データパイプラインの中間出力を効率的に管理し、データ処理プロセスを最適化します。
製品特徴
高性能:数千個のSSDのスループットと数百個のストレージノードのネットワーク帯域幅を組み合わせ、大規模な並列アクセスをサポートします。
強力な整合性:CRAQプロトコルを採用し、データの強力な整合性を確保することで、アプリケーション開発を簡素化します。
さまざまなワークロードのサポート:データ準備、トレーニングサンプルの読み込み、チェックポイントの保存、推論キャッシュなどのシナリオに適しています。
使いやすさ:標準的なファイルインターフェースを提供し、新しいストレージAPIを学習する必要はありません。
高い拡張性:大規模クラスタの展開をサポートし、さまざまな規模のAIプロジェクトのニーズに対応します。
使用チュートリアル
1. GitHubから3FSリポジトリをクローンします:`git clone https://github.com/deepseek-ai/3fs`。
2. サブモジュールを初期化します:`cd 3fs && git submodule update --init --recursive`。
3. CMake、libuv、liblz4などの依存関係をインストールします(具体的な依存関係はドキュメントを参照)。
4. 3FSをビルドします:`cmake -S . -B build -DCMAKE_BUILD_TYPE=RelWithDebInfo`を実行し、その後`cmake --build build`を実行します。
5. テストクラスタを展開し、展開ガイドに従ってストレージノードとクライアントを構成します。
おすすめAI製品

Pseudoeditor
PseudoEditorは無料で使用できるオンライン擬似コードエディタです。構文の強調表示や自動補完などの機能を備えており、擬似コードの作成を容易にします。さらに、内蔵の擬似コードコンパイラ機能でテストすることも可能です。ダウンロード不要ですぐにご利用いただけます。
開発とツール
3.8M

Coze
Cozeは、次世代AIチャットボット構築プラットフォームです。AIチャットボットアプリケーションの迅速な作成、デバッグ、最適化が可能です。コーディング不要で、チャットボットを簡単に作成し、様々なプラットフォームに公開できます。豊富なプラグインも提供しており、データとの連携、アイデアをボットスキルへの変換、長期記憶の装備、会話の開始など、ボットの機能を拡張できます。
開発とツール
3.7M