

Tele FLM 1T
紹介 :
Tele-FLM-1Tは、約2Tトークンで訓練された、1Tパラメーターのオープンソース多言語大規模言語モデルです。デコーダーのみのTransformerアーキテクチャに基づいており、その規模において卓越した性能を示し、場合によってはより大きなモデルをも凌駕します。モデルの重みの共有に加え、コア設計、エンジニアリングプラクティス、トレーニングの詳細も提供しており、学術界と産業界の双方に貢献することを期待しています。
ターゲットユーザー :
本モデルのターゲットユーザーは、大規模言語モデルを用いたテキスト生成、機械翻訳、質疑応答システムなどの自然言語処理タスクに取り組む研究者や開発者です。
使用シナリオ
高品質な多言語テキストコンテンツの生成
多言語機械翻訳システムの中核モデルとして
質疑応答システムにおける正確な情報検索と回答提供
製品特徴
増分学習技術に基づき、52B、102B、1TBの3段階でトレーニングを実施
標準的なGPTスタイルのデコーダーのみTransformerアーキテクチャを採用し、いくつかの調整を加えている
Rotary Positional Embedding (RoPE)、RMSNorm、SwiGLU活性化関数を用いている
Llamaアーキテクチャとの互換性を持ち、コードの修正を最小限に抑えている
112台のA800 SXM4 GPUサーバークラスタでトレーニングを実施(各サーバーには8個のNVLink A800 GPUと2TBのRAMを搭載)
3D並列トレーニングを採用し、データ並列、テンソル並列、パイプライン並列を組み合わせている
モデルの重みとトレーニングの詳細を提供し、コミュニティによる利用と研究を促進する
使用チュートリアル
1. Hugging Faceモデルハブにアクセスし、Tele-FLM-1Tモデルを探す
2. モデルカードを読み、モデルの詳細情報と利用制限を確認する
3. モデルの重みと関連コードをダウンロードする
4. 提供されているエンジニアリングプラクティスとトレーニングの詳細に基づき、特定のタスクに適したようモデルを調整する
5. ローカル環境またはクラウド環境でモデルを配置し、トレーニングまたは推論を実行する
6. モデルを用いてテキスト生成またはその他の自然言語処理タスクを実行する
7. 利用経験とフィードバックを共有し、コミュニティの発展に貢献する
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M