RULER
R
RULER
紹介 :
RULERは、長文言語モデルのための包括的な評価を提供する新しい合成ベンチマークです。一般的な検索テストを拡張し、様々な種類と数の情報ポイントを網羅しています。さらに、RULERは、コンテキストからの振る舞いを超えたテストを行うために、マルチホップ追跡や集約などの新しいタスクカテゴリを導入しています。10個の長文言語モデルをRULERで評価し、13個の代表的なタスクにおけるパフォーマンスを得ました。これらのモデルは一般的な検索テストではほぼ完璧な精度を達成しましたが、コンテキストの長さが増えると非常に悪いパフォーマンスを示しました。32Kの長さにおいては、GPT-4、Command-R、Yi-34B、Mixtralの4つのモデルのみが比較的良好なパフォーマンスを示しました。長文言語モデルの包括的な評価を促進するために、RULERを公開ソースとして公開します。
ターゲットユーザー :
教育、研究
総訪問数: 26.1M
最も高い割合の地域: US(17.94%)
ウェブサイト閲覧数 : 65.1K
使用シナリオ
長文から情報を探す
マルチホップで情報を追跡する
長文で集約を行う
製品特徴
長文言語モデルのテスト
マルチホップ追跡
集約
おすすめAI製品
DeepMind Gemini
Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選
LiblibAI
Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase