# GUI自動化

OmniParser V2は、Microsoft Researchチームが開発した、大規模言語モデル（LLM）をグラフィカルユーザーインターフェース（GUI）を理解し操作できるインテリジェントエージェントに変換することを目的とした、高度なAIモデルです。この技術は、インターフェースのスクリーンショットをピクセル空間から解釈可能な構造化された要素に変換することで、LLMがインタラクティブなアイコンをより正確に認識し、画面上で所定のアクションを実行できるようにします。OmniParser V2は、小さなアイコンの検出と高速な推論において顕著な進歩を遂げ、GPT-4oと組み合わせたScreenSpot Proベンチマークテストでは、平均精度39.6％を達成し、元のモデルの0.8％をはるかに上回っています。さらに、OmniParser V2はOmniToolツールを提供しており、さまざまなLLMとの連携をサポートし、GUI自動化のさらなる発展を推進します。

Aria-UIは、GUI指示の視覚的ローカリゼーション用に設計された大規模な多様なモダリティモデルです。補助入力に依存せず、純粋に視覚的なアプローチを採用することで、多様な計画指示に適応し、多様で高品質な指示サンプルを合成することにより、様々なタスクに対応します。Aria-UIは、オフラインおよびオンラインのエージェントベンチマークテストで、視覚のみとAXTreeに依存するベースラインを上回り、新たな最高記録を樹立しました。

ShowUIは、GUIエージェント向けに設計された軽量な視覚言語行動モデルです。視覚入力、言語理解、行動予測を組み合わせることで、コンピュータインターフェースがより自然な方法でユーザーの指示に応答することを可能にします。ShowUIの重要性は、特にGUI自動化や自然言語処理の分野において、人間とコンピュータのインタラクションの効率性と自然性を向上させる点にあります。このモデルはshowlab研究所によって開発され、現在Hugging Faceプラットフォームで公開されており、研究とアプリケーションに使用できます。