# 評価ツール

SFR-Judgeは、Salesforce AI Researchによって開発された一連の評価モデルです。人工知能技術を活用し、大規模言語モデル（LLM）の評価とファインチューニングのプロセスを高速化することを目的としています。これらのモデルは、ペアワイズ比較、単一アイテム評価、2値分類など、さまざまな評価タスクを実行でき、同時に解釈を提供することでブラックボックス問題を回避します。SFR-Judgeは複数のベンチマークテストで優れた性能を示し、モデル出力の評価とファインチューニングのガイダンスにおける有効性を証明しています。

1X ワールドモデルは、ロボットの行動に対する世界の反応をシミュレートできる機械学習プログラムです。ビデオ生成と自動運転車のワールドモデル技術の進歩を基盤として、ロボットに仮想シミュレータを提供し、未来のシナリオを予測し、ロボット戦略を評価します。このモデルは、剛体、落下物体の影響、部分観測可能性、変形可能な物体、関節を持つ物体などの複雑な物体相互作用を処理できるだけでなく、変化する環境下での評価も可能であり、ロボット技術の発展に不可欠です。

WeavelはAIプロンプトエンジニアリングツールです。追跡、データセット管理、一括テスト、評価といった機能を通じて、大規模言語モデル（LLM）アプリケーションの最適化を支援します。WeavelとWeavel SDKを連携させることで、LLMが生成したデータを自動的に記録し、データセットに追加できます。これにより、シームレスな統合と特定のユースケースに合わせた継続的な改善を実現します。さらに、Weavelは評価コードを自動生成し、LLMを複雑なタスクの公平な審査員として活用することで、評価プロセスを簡素化し、正確で詳細なパフォーマンス指標を確保します。

RAGEloは、Eloレーティングシステムを使用して最適な検索強化生成（RAG）大型言語モデル（LLM）エージェントを選択するためのツールキットです。生成型LLMのプロトタイプ作成と本番環境への統合が容易になるにつれ、評価はソリューションにおいて最も困難な部分の1つとなっています。RAGEloは、複数の問題に対する様々なRAGパイプラインとプロンプトの回答を比較し、異なる設定のランキングを計算することで、どの設定が有効で、どれが無効かを把握するための優れた概要を提供します。

TC-Benchは、動画生成モデルの時間的整合性を評価するために特化したツールです。精心設計されたテキストプロンプト、対応する現実世界の動画、そして強力な評価指標を用いて、動画生成モデルが時間軸上での新たな概念の出現とその関係性の変化を捉える能力を測定します。TC-Benchはテキスト条件付きモデルだけでなく、画像条件付きモデルにも適用可能で、生成的なフレーム補間も実行できます。本ツールの開発は、動画生成技術の発展、生成動画の質と一貫性の向上を目指しています。

Prometheus-Evalは、大規模言語モデル（LLM）の生成タスクにおける性能を評価するためのオープンソースツールキットです。簡潔なインターフェースを提供し、Prometheusモデルを使用して指示と応答ペアを評価します。Prometheus 2モデルは直接評価（絶対評価）とペアワイズランキング（相対評価）をサポートしており、人間の判断や独自の言語モデルベースの評価を模倣することで、公平性、制御性、経済性の問題を解決します。

本ツールは、最新の独自開発およびオープンソースのMLLMを定性的研究することにより、テキスト、コード、画像、動画の4つのモダリティから、その汎化能力、信頼性、因果推論能力を評価し、MLLMの透明性を高めることを目的としています。これらの属性は、様々な下流アプリケーションを支えるMLLMの信頼性を定義する上で重要な要素であると考えています。具体的には、クローズドソースのGPT-4とGemini、ならびに6つのオープンソースLLMおよびMLLMを評価しました。全体として、230個の手動設計された事例を評価し、定性的な結果は12個のスコア（モダリティ4つ×属性3つ）に要約されています。合計で14の経験的知見を明らかにし、独自開発とオープンソースのMLLMの能力と限界を理解し、より信頼性の高い多様なモダリティの下流アプリケーションをサポートすることに役立てます。

Unitxtは、生成言語モデル向けに特化設計された、革新的なライブラリです。テキストデータの準備と評価をカスタマイズするために使用されます。UnitxtはHugging FaceやLM-eval-harnessなどの一般的なライブラリとネイティブに統合されており、処理プロセスをモジュール化されたコンポーネントに分割することで、カスタマイズと共有を容易にしています。これらのコンポーネントには、モデル固有のフォーマット、タスクプロンプトなど、包括的なデータセット処理定義が含まれます。Unitxt-Catalogはこれらのコンポーネントを集約し、最新のテキストデータワークフローにおける協調と探索を促進します。ツールであると同時に、Unitxtはコミュニティ主導のプラットフォームであり、ユーザーが共同でデータパイプラインの構築、共有、発展を可能にします。

本製品は、テキストから動画を生成する際の品質を評価するためのツールです。テキスト動画スコア（T2VScore）という新しい評価指標を導入しています。このスコアは、2つの重要な基準を統合しています。（1）テキストと動画の一致度：与えられたテキスト記述を動画がどの程度忠実に表現しているかを評価します。（2）動画品質：動画の全体的な制作レベルを評価します。さらに、提案された指標を評価し、将来の改善を促進するために、2,543本のテキスト動画生成動画について、これら2つの基準に基づいた人間の判断を集めたTVGEデータセットを提供しています。TVGEデータセットの実験により、提案されたT2VScoreは、テキスト動画生成のより優れた評価指標を提供する上で優れていることが示されています。

Openlayerは、開発および本番環境のプロセスに適用可能な評価ツールです。高品質なモデルを自信を持ってリリースできるよう支援します。強力なテスト、評価、可観測性を提供し、プロンプトが十分かどうかを推測する必要はありません。LLM、テキスト分類、表分類、表回帰などをサポートしています。リアルタイム通知により、AIモデルの失敗時に通知を受け取ることができ、自信を持ってリリースできます。