# ヒューマンコンピュータインタラクション

Magentic-UI はマルチエージェントシステムに基づく研究のプロトタイプです。ユーザーは透過的でコントロール可能なインターフェースを通じてネットワークブラウジングやタスクの自動化を行えます。その主な利点は、人と機械間のインタラクションの効率を向上させながら、ユーザーに自動化プロセスに対するコントロールを提供することです。この製品は複雑なオンラインタスクを遂行するために設計されており、さまざまな操作やカスタマイズ設定に対応できます。

ShowUIは、GUIエージェント向けに設計された軽量な視覚言語行動モデルです。視覚入力、言語理解、行動予測を組み合わせることで、コンピュータインターフェースがより自然な方法でユーザーの指示に応答することを可能にします。ShowUIの重要性は、特にGUI自動化や自然言語処理の分野において、人間とコンピュータのインタラクションの効率性と自然性を向上させる点にあります。このモデルはshowlab研究所によって開発され、現在Hugging Faceプラットフォームで公開されており、研究とアプリケーションに使用できます。

Ant Design Xは、Ant Designチームが提供するAIインターフェースソリューションです。RICHデザインパラダイム（役割、意図、会話、混合インターフェース）に基づき、Ant Designのデザイン言語を継承し、全く新しいAGI混合インターフェース（Hybrid-UI）ソリューションを提供します。Ant Design Xは、AI技術を通じて人と機械のインタラクションの効率と体験を向上させることを目指しており、Web独立型、Webアシスタント型、Web埋め込み型など、様々なAIシナリオに適用可能です。Ant Design Xの主な利点には、容易な設定、極めて優れた体験を提供する汎用チャートライブラリ、そしてAIの意図を迅速に理解し表現できる能力が含まれます。製品背景情報によると、Ant Design Xはアリババグループ内部における膨大なAI製品の実践と反復によって生まれたものであり、より良いスマートな未来世界の創造を目指しています。

PARTNRはMeta FAIRによって公開された大規模ベンチマークであり、10万件の自然言語タスクを含み、マルチエージェント推論とプランニングの研究を目的としています。PARTNRは、大規模言語モデル（LLM）を用いてタスクを生成し、シミュレーションループによってエラーを削減します。また、現実の人間パートナーとのAIエージェント評価を、ヒューマン?イン?ザ?ループインフラを通じてサポートしています。PARTNRは、既存のLLMベースのプランナーがタスクの調整、追跡、そしてエラーからの回復において著しい限界があることを明らかにしています。人間は93％のタスクを解決できる一方、LLMはわずか30％しか解決できません。

V-ExpressはテンセントAIラボが開発したアバター動画生成モデルです。段階的な棄却操作を通して様々な制御信号のバランスを取り、姿勢、入力画像、音声の全てを考慮した動画生成を実現しています。特に音声信号が弱い状況下での最適化が施されており、制御信号の強弱に関わらずアバター動画生成における課題を解決しています。

AIの形状は、人工知能のインタラクションモデルに焦点を当てたウェブサイトです。デザインへのAI統合に関する深い洞察を提供し、ユーザーエクスペリエンスの重要性を強調しながら、AI主導の世界における人間と機械のインタラクションをデザインを通して最適化する方法を探求しています。デザイナーや開発者がAIの新たなモデルを理解し、それらを活用して製品やサービスを向上させるための豊富なリソースとツールを提供しています。

EMAGEは、表情豊かなマスク付き音声ジェスチャーモデリングを通じて自然な手振り動作を生成する、統一的な全体協調ジェスチャー生成モデルです。音声入力から音声と韻律情報を捉え、それに対応する身体姿勢と手振り動作のシーケンスを生成します。EMAGEは、高度にダイナミックで表現力豊かな手振りを生成し、バーチャルキャラクターのインタラクション体験を向上させます。

SpeechGPTは、固有のクロスモーダル対話能力を備えたマルチモーダル言語モデルです。マルチモーダルなコンテンツの認識と生成が可能で、マルチモーダルな人間の指示に従います。SpeechGPT-Genは、情報チェーンを拡張した音声生成モデルです。SpeechAgentsは、マルチモーダルなマルチエージェントシステムによる人間コミュニケーションのシミュレーションです。SpeechTokenizerは、音声言語モデルに適した統一的な音声トークナイザーです。これらのモデルとデータセットのリリース日や関連情報は、公式ウェブサイトでご確認ください。

Rabbitは、コンピュータアプリケーションにおける人間の行動を理解し、シミュレートできるシステムの開発を目指す研究プロジェクトです。このシステムは、大規模行動モデル（LAM）と呼ばれ、ニューラルシンボリックプログラミング技術を採用することで、様々なアプリケーションやユーザーがそれら上で実行する操作を直接シミュレートできます。LAMは、精度、説明可能性、速度において最先端の方法と同等の性能を達成しています。その目標は、様々なAIアシスタントやオペレーティングシステムの展開を支援し、次世代の自然言語駆動型コンシューマーエクスペリエンスの形成に貢献することです。

InsActorは、物理シミュレーションに基づいたキャラクター制御システムです。自然言語による指示で、複雑な環境下においてキャラクターが様々なインタラクションタスクを実行できます。本システムは、条件付き敵対的拡散モデルを用いた多段階計画と低レベルコントローラーを組み合わせることで、安定性と堅牢性の高い制御を実現しています。滑らかな制御と自然なインタラクションを特徴とし、クリエイティブコンテンツ生成、インタラクティブエンターテインメント、ヒューマンコンピュータインタラクションなど幅広い用途に適しています。