# 機械知覚

Project Aria は、Meta が発表した一人称視点研究に特化したプロジェクトであり、革新的な技術を通じて拡張現実（AR）と人工知能（AI）の発展を目指しています。Aria Gen 2 グラスなどのデバイスを通じてユーザー視点から情報を収集し、機械知覚と AR 研究を支援します。主な利点としては、革新的なハードウェア設計、豊富なオープンソースデータセットとチャレンジ、そして世界中の研究パートナーとの緊密な連携が挙げられます。このプロジェクトの背景には、Meta が将来の AR 技術に長期的に投資し、オープンな研究を通じて業界の進歩を促進するという姿勢があります。

Aria Gen 2は、Metaが発表した第2世代の研究用スマートグラスで、機械知覚、状況認識AI、ロボット研究のために設計されています。高度なセンサーと低消費電力の機械知覚技術を統合し、SLAM、アイトラッキング、ジェスチャー認識などの機能をリアルタイムで処理できます。この製品は、人工知能と機械知覚技術の発展を促進し、研究者にAIが人間の視点の世界をより良く理解する方法を探求するための強力なツールを提供することを目的としています。Aria Gen 2は技術的なブレークスルーだけでなく、学術界や商業研究機関との連携を通じて、オープンな研究と、これらの重要な技術に対する一般の理解を促進しています。

アルケミストは、事前学習済みのテキストから画像へのモデルと合成データを利用し、画像内の物体のマテリアル属性を編集できる技術です。合成データセットの微調整により、物体の特定のマテリアル属性（粗さ、金属感、ベースカラーの彩度、透明度など）をパラメトリックに編集できます。この技術の主な利点は、物体の形状や画像の照明を維持したまま、物体の属性を変更できることであり、物体が透明化された場合でも、背景、隠れた内部構造、屈折光の効果をリアルに再現できます。

Ego-Exo4Dは、スキルのある人間の行動を捉えた自己中心視点と外部中心視点のビデオを中心とした、マルチモーダル多視点ビデオデータセットとベンチマークチャレンジです。日常生活における活動のマルチモーダルな機械知覚研究を支援します。このデータセットは、世界13都市の839名のカメラ装着ボランティアによって収集され、1422時間のスキルのある人間の行動ビデオを収録しています。対応するビデオと共に、専門家の解説、参加者によるチュートリアル形式の解説、1文の原子動作記述という3種類の自然言語データセットを提供しています。Ego-Exo4Dは、複数の視点、7つのマイクアレイ、2つのIMU、気圧計、磁力計など、多視点と多様なセンシングモダリティも捉えています。データセットの記録は、プライバシーと倫理ポリシーを厳守し、参加者の正式な同意を得ています。詳細については、公式サイトをご覧ください。