WebVoyager是一款創新的大型多模態模型（LMM）驅動的網絡代理，能夠通過與現實世界的網站交互，端到端完成用戶指令。我們提出了一種新的網絡代理評估協議，以解決開放式網絡代理任務的自動評估挑戰，利用GPT-4V的強大多模態理解能力。我們從15個廣泛使用的網站收集了真實世界任務，用於評估我們的代理。我們展示了WebVoyager實現了55.7%的任務成功率，明顯超過了GPT-4（所有工具）和WebVoyager（僅文本）設置的性能，突顯了WebVoyager在實際應用中的卓越能力。我們發現我們提出的自動評估與人類判斷達成了85.3%的一致性，為在真實世界環境中進一步發展網絡代理鋪平了道路。