# 汎化能力

智元汎用具象基盤大規模モデルGO-1は、智元が発表した革新的な人工知能モデルです。このモデルは、革新的なVision-Language-Latent-Action（ViLLA）アーキテクチャに基づいており、マルチモーダル大規模モデル（VLM）と混合専門家（MoE）システムを通じて、視覚と言語入力からロボット動作の実行までの効率的な変換を実現しています。GO-1は、人間のビデオと実際のロボットデータを使用して学習することができ、強力な汎化能力を備えており、非常に少ないデータ、あるいはゼロショットでも新しいタスクや環境に迅速に適応できます。主な利点としては、効率的な学習能力、強力な汎化性能、そして様々なロボット本体への適合性があります。このモデルの発表は、具象知能が汎用化、オープン化、知能化の方向へ大きく前進したことを示しており、商業、産業、家庭など多くの分野で重要な役割を果たすことが期待されます。

R1-Vは、視覚言語モデル（VLM）の汎化能力に特化したプロジェクトです。検証可能な報酬による強化学習（RLVR）技術を用いることで、特に分布外（OOD）テストにおいて、VLMの視覚カウントタスクにおける汎化能力を大幅に向上させました。この技術の重要性は、わずか2.62ドルのトレーニングコストで、大規模モデルを効率的に最適化できる点にあり、視覚言語モデルの実用化に新たな道を切り開きます。プロジェクトの背景は、既存のVLMトレーニング方法の改善に基づいており、革新的なトレーニング戦略を通じて、複雑な視覚タスクにおけるモデルのパフォーマンス向上を目指しています。R1-Vのオープンソース性も、研究者や開発者が高度なVLM技術を探求し、応用するための重要なリソースとなっています。

SAMURAIは、Segment Anything Model 2 (SAM 2)をベースとしたビジュアルオブジェクトトラッキングモデルです。高速移動する物体や自己遮蔽する物体のビジュアルトラッキングタスクに特化して設計されています。時間的運動手がかりと運動知覚メモリ選択メカニズムを導入することで、物体の運動を効果的に予測し、マスク選択を最適化します。再トレーニングや微調整なしで、堅牢かつ正確なトラッキングを実現します。SAMURAIはリアルタイム環境で動作し、複数のベンチマークデータセットで強力なゼロショット性能を示しており、微調整なしで汎化できる能力を実証しています。評価において、SAMURAIは成功率と精度において既存のトラッカーと比較して大幅な向上を示しました。例えば、LaSOT-extではAUCが7.1%向上し、GOT-10kではAOが3.5%向上しました。さらに、LaSOTにおける教師あり学習手法と比較しても競争力を示しており、複雑なトラッキングシーンにおける堅牢性と動的環境における潜在的な実用性を強調しています。

ManiWAVは、野外の音声と映像データを用いてロボット操作スキルを学習することを目的とした研究プロジェクトです。人間の操作デモンストレーションから同期した音声と映像のフィードバックを収集し、対応する戦略インターフェースを通じて、デモンストレーションから直接ロボット操作戦略を学習します。本モデルは、ロボットが接触事象やパターンをパッシブに感知したり、物体表面の材質や状態をアクティブに感知する必要がある、接触が豊富な4つの操作タスクを通じて、システムの能力を実証しています。さらに、多様な野外の人のデモンストレーションを学習することで、未経験の野外環境にも一般化することができます。

本ツールは、最新の独自開発およびオープンソースのMLLMを定性的研究することにより、テキスト、コード、画像、動画の4つのモダリティから、その汎化能力、信頼性、因果推論能力を評価し、MLLMの透明性を高めることを目的としています。これらの属性は、様々な下流アプリケーションを支えるMLLMの信頼性を定義する上で重要な要素であると考えています。具体的には、クローズドソースのGPT-4とGemini、ならびに6つのオープンソースLLMおよびMLLMを評価しました。全体として、230個の手動設計された事例を評価し、定性的な結果は12個のスコア（モダリティ4つ×属性3つ）に要約されています。合計で14の経験的知見を明らかにし、独自開発とオープンソースのMLLMの能力と限界を理解し、より信頼性の高い多様なモダリティの下流アプリケーションをサポートすることに役立てます。

InstructVideoは、人間からのフィードバックによる報酬強化学習を用いて、テキストからビデオへの拡散モデルを指導する手法です。編集方式による報酬強化学習を採用することで、微調整コストの削減と効率の向上を実現しています。確立された画像報酬モデルを用い、セグメント化された疎なサンプリングと時間減衰報酬によって報酬信号を提供することで、生成ビデオの画質を大幅に向上させています。InstructVideoは、生成ビデオの画質向上だけでなく、高い汎化能力も維持します。詳細については、公式ウェブサイトをご覧ください。

GLEEは、画像と動画に対する汎用オブジェクト基礎モデルです。統一されたフレームワークを通じて、画像と動画内のオブジェクトの定位と識別を実現し、様々なオブジェクト認識タスクに適用できます。GLEEは、異なる監督レベルの様々なデータソースを統合して学習することで、汎用的なオブジェクト表現を形成し、最先端の性能を維持しつつ、ゼロショット転移と汎化を効果的に行うことができます。また、優れた拡張性と堅牢性を備えています。