

Llm Colosseum
紹介 :
llm-colosseumは、ストリートファイター3を用いて大規模言語モデル(LLM)のリアルタイム意思決定能力を評価する革新的なベンチマークツールです。従来のベンチマークとは異なり、実際のゲームシナリオをシミュレートすることで、モデルの迅速な反応、賢い戦略、革新的な思考、適応性、回復力をテストします。
ターゲットユーザー :
この製品は主に、人工知能研究者や開発者、特に言語モデルのリアルタイム意思決定能力やゲームAIに興味のある専門家を対象としています。LLMの評価と改善のための独自のプラットフォームを提供します。
使用シナリオ
研究者はllm-colosseumを使用して、さまざまなLLMのパフォーマンスをテストおよび比較します。
開発者はこのツールを使用して、独自のLLMモデルをトレーニングおよび最適化します。
教育機関は、複雑な環境におけるAIの意思決定プロセスを示す教育事例として使用します。
製品特徴
リアルタイム対戦:LLMはストリートファイター3でリアルタイム対戦を行い、現実のゲーム環境をシミュレートします。
賢明な意思決定:モデルは相手の攻撃に対応するために迅速な意思決定を行う必要があります。
複数モデルのサポート:OpenAIやMistralなど、複数の言語モデルをサポートしています。
ELOレーティングシステム:モデルの対戦結果に基づいて、ELOレーティングシステムによるランキングを行います。
カスタムモデル:ユーザーは独自のLLMモデルを作成し、ランキングに参加させることができます。
環境適応性:モデルは、キャラクターの体力やエナジーゲージなどの現在のゲーム状態に合わせて戦略を調整する必要があります。
使用チュートリアル
1. llm-colosseumのGitHubページにアクセスし、プロジェクトをクローンまたはダウンロードします。
2. READMEの説明に従って、必要な依存関係をインストールします。
3. .envファイルを作成し、必要な環境変数を設定します。
4. make runコマンドを使用してストリートファイター3対戦環境を起動します。
5. さまざまなLLMモデルのパフォーマンスを観察し、ELOレーティングに基づいてパフォーマンスを評価します。
6. 必要に応じて、agent/robot.pyファイル内のRobot.call_llm()メソッドを変更して、モデルの動作をカスタマイズします。
7. カスタマイズしたモデルの変更を提出して、llm-colosseumのランキングに参加するためのPRを作成します。
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M