# マルチタスク学習

π0は、具現化されたトレーニングを通じてAIシステムに物理的知能を与え、大型言語モデルやチャットボットアシスタントと同様に様々なタスクを実行できることを目指した汎用ロボット基礎モデルです。π0はロボット上の物理的経験を通じて物理的知能を獲得し、低レベルのモータコマンドを直接出力することで、様々なロボットを制御し、特定の用途に合わせて微調整できます。π0の開発は、大規模なマルチタスクとマルチロボットデータ収集、そして新しいネットワークアーキテクチャを組み合わせることで、これまでで最も有能で器用な汎用ロボットポリシーを提供し、人工知能の物理世界への応用における重要な進歩を示しています。

Florence-2は、マイクロソフトが開発した高度なビジョン基礎モデルです。プロンプトベースのアプローチを採用し、幅広いビジョンタスクとビジョン?言語タスクを処理します。このモデルは、シンプルなテキストプロンプトを解釈し、画像キャプション生成、物体検出、セグメンテーションなどのタスクを実行できます。54億件の注釈を含む1億2600万枚の画像からなるFLD-5Bデータセットを使用して学習されており、マルチタスク学習に長けています。シーケンスツーシーケンスアーキテクチャにより、ゼロショット設定とファインチューニング設定の両方で優れた性能を発揮し、競争力のあるビジョン基礎モデルであることを証明しています。

Florence-2-large-ftは、Microsoftが開発した高度な視覚基礎モデルです。プロンプトベースのアプローチを用いて、幅広い視覚タスクと視覚言語タスクを処理します。このモデルは、シンプルなテキストプロンプトによって、画像キャプション生成、物体検出、セグメンテーションなどのタスクを実行できます。54億件の注釈付き1.26億枚の画像を含むFLD-5Bデータセットを活用し、マルチタスク学習を実現しています。シーケンスツーシーケンスアーキテクチャにより、ゼロショット設定とファインチューニング設定の両方で優れた性能を発揮し、競争力のある視覚基礎モデルであることを実証しています。

Florence-2は、マイクロソフトが開発した高度なビジョン基礎モデルであり、プロンプトベースのアプローチを用いて幅広いビジョンおよびビジョン言語タスクを処理します。このモデルは、簡単なテキストプロンプトを解釈し、記述、物体検出、セグメンテーションなどのタスクを実行できます。5億4000万枚の画像と54億個の注釈を含むFLD-5Bデータセットを使用して学習されており、マルチタスク学習に長けています。シーケンスツーシーケンスアーキテクチャにより、ゼロショットおよびファインチューニング設定の両方で優れた性能を示し、競争力のあるビジョン基礎モデルであることが証明されています。

Florence-2-largeは、マイクロソフトが開発した高度なビジョン基礎モデルです。プロンプトベースのアプローチを採用し、幅広いビジョンおよびビジョン?言語タスクに対応します。このモデルは、シンプルなテキストプロンプトを解釈して、画像キャプション生成、物体検出、セグメンテーションなどのタスクを実行できます。5億4千万枚の画像に54億個の注釈が付いたFLD-5Bデータセットを活用し、マルチタスク学習に長けています。シーケンスツーシーケンスアーキテクチャにより、ゼロショットおよびファインチューニング設定の両方で優れたパフォーマンスを発揮し、競争力のあるビジョン基礎モデルであることが証明されています。

Florence-2は、統一されたプロンプトベースの表現を用いて、多様なコンピュータビジョンタスクとビジョン言語タスクを処理できる、新種のビジュアル基礎モデルです。テキストプロンプトをタスク指示として受け入れ、画像記述、物体検出、物体位置特定、セグメンテーションなど、テキスト形式で期待される結果を出力するように設計されています。このマルチタスク学習設定には、大規模で高品質な注釈データが必要です。そのため、1億2600万枚の画像を網羅する54億個の包括的なビジュアル注釈を含むFLD-5Bを共同開発しました。自動画像注釈とモデル改良の反復戦略を用いています。Florence-2のトレーニングにはシーケンスツーシーケンス構造を採用し、多様かつ包括的なビジュアルタスクを実行できるようにしました。広範な評価により、Florence-2は前例のないゼロショットおよびファインチューニング能力を備えた、強力なビジュアル基礎モデルであることが示されています。

StreamSpeechは、マルチタスク学習に基づいたリアルタイム音声対音声翻訳モデルです。統一フレームワークを通じて翻訳と同期戦略を同時に学習することで、ストリーミング音声入力における翻訳タイミングを効果的に認識し、高品質なリアルタイムコミュニケーション体験を実現します。このモデルはCVSSベンチマークテストでトップレベルの性能を達成しており、ASRや翻訳結果などの低遅延の中間結果を提供できます。

VSP-LLMは、視覚音声処理（Visual Speech Processing）と大規模言語モデル（LLMs）を組み合わせたフレームワークです。LLMの強力な能力を活用することで、コンテキストモデリング能力を最大化することを目指しています。VSP-LLMは、視覚音声認識と翻訳のマルチタスクを実行するために設計されており、自己教師あり視覚音声モデルを通じて入力ビデオをLLMの入力潜在空間にマッピングします。このフレームワークは、新規な重複除去手法と低ランクアダプター（LoRA）を提案することで、効率的なトレーニングを実現します。

Emu Editは、タスク認識と生成を通じて高精度な画像編集を行うマルチタスク画像編集モデルです。この分野における最新の技術的ブレークスルーを実現しています。Emu Editのアーキテクチャはマルチタスク学習向けに最適化されており、領域ベースの編集、自由形式の編集、物体検出とセグメンテーションなどのコンピュータビジョンタスクを含む数多くのタスクで訓練されています。さらに、これらの多様なタスクをより効果的に処理するため、生成プロセスを適切に誘導する学習済みタスク埋め込みの概念を導入しています。マルチタスク学習と学習済みタスク埋め込みの活用により、編集指示の正確な実行能力が大幅に向上しています。 Emu Editは、未学習タスクへの迅速な適応もサポートしており、タスク反転による少样本学習を実現しています。この過程では、モデルの重みを変更せずに、タスク埋め込みのみを更新して新しいタスクに適応します。実験により、Emu Editは超解像度や輪郭検出など、新しいタスクに迅速に適応できることが実証されています。そのため、アノテーションデータが限られている場合や計算リソースに制約がある場合に、Emu Editによるタスク反転は特に有効です。 指示に基づく画像編集モデルの厳格かつ根拠に基づいた評価を支援するため、7種類の異なる画像編集タスク（背景変更、全体的な画像変化、スタイル変更、オブジェクト削除、オブジェクト追加、部分的な変更、カラー/テクスチャ変更）を含む新しいベンチマークデータセットを作成し、公開しています。さらに、Emu Editとの適切な比較を行うために、Emu Editによるデータセット生成結果も公開しています。 Emu Edit 2023 Meta著作権所有