# 多タスク学習

GR-2は、多様で汎用性の高いロボット操作のために設計された、高度な汎用ロボットエージェントです。世界における動きの捉え方を習得するために、まず膨大なインターネット上の動画で事前学習が行われます。この大規模な事前学習には、3800万本の動画クリップと500億を超えるラベルが含まれており、GR-2は後続の戦略学習において、幅広いロボットタスクと環境に汎化することができます。その後、ロボット軌跡を用いて、動画生成と動作予測に関して微調整が行われます。100以上のタスクにおいて平均97.7％の成功率を達成する、印象的な多タスク学習能力を示しています。さらに、新しい、これまで見たことのないシーン（新しい背景、環境、オブジェクト、タスクを含む）においても優れた性能を発揮します。注目すべきは、GR-2はモデルサイズの増加に伴って効率的に拡張され、その持続的な成長と応用の可能性を示している点です。

Pile-T5は、EleutherAIによって開発された自然言語処理モデルです。元のT5モデルをベースに、PileデータセットとLLAMAトークナイザーを用いて訓練されており、コードタスクに対する理解能力が向上しています。2兆トークンを用いた訓練は、元のT5モデルの2倍の規模です。Pile-T5は、多くの下流タスク、特にコード関連タスクにおいて優れた性能を発揮します。さらに、EleutherAIは中間チェックポイントも公開しており、研究者はモデルの経時的な変化を調査することができます。

「書生?浦語2.0」InternLM2は、中国語と英語に対応した大規模な多言語事前学習済み言語モデルです。言語理解、自然言語生成、マルチモーダル推論、コード理解など、強力な機能を備えています。Transformerアーキテクチャを採用し、大量のデータで事前学習を行うことで、長文理解、対話、数学演算など、複数の分野で業界トップレベルの性能を実現しています。本シリーズのモデルは様々な規模が用意されており、ユーザーはニーズに合ったモデルを選択して、下流タスクのファインチューニングやチャットボット構築などのアプリケーション開発に利用できます。