# 多模態交互

TEN Agent 是基於 TEN 框架構建的即時對話 AI引擎，為開發者提供快速、高效的工具來構建即時對話式 AI Agent，如AI虛擬客服、AI 口語陪練、AI 情感陪伴、AI 個人助理等。 TEN Agent 目前已集成 DeepSeek、Gemini 2.0、OpenAI Realtime、Qwen、RTC 等多種模型及組件，同時適配 Dify、Coze 主流編排工具，並且支持 ESP 32，快速讓你的 AI bot 能聽能說。

ChatWise是一款高性能的AI聊天工具，支持GPT-4、Claude、Gemini等主流語言模型。它注重隱私保護，所有數據本地存儲，僅在發送請求時與LLM提供商交互。其多模態交互功能允許用戶通過音頻、PDF、圖片等多種形式進行聊天，同時支持網頁搜索和HTML/React等渲染功能。ChatWise定位為高效、簡潔且功能強大的桌面端聊天工具，適合需要快速獲取信息和進行多模態交互的用戶。

UI-TARS 是由字節跳動研究團隊開發的下一代原生GUI代理模型，旨在通過人類般的感知、推理和行動能力與圖形用戶界面進行無縫交互。該模型集成了感知、推理、定位和記憶等所有關鍵組件，能夠在無需預定義工作流或手動規則的情況下實現端到端的任務自動化。其主要優點包括強大的多模態交互能力、高精度的視覺感知和語義理解能力，以及在多種複雜任務場景中的出色表現。該模型適用於需要自動化GUI交互的場景，如自動化測試、智能辦公等，能夠顯著提高工作效率。

Trae 是一款面向開發者的 AI 驅動的集成開發環境（IDE）。它通過智能代碼補全、多模態交互以及對整個代碼庫的上下文分析等功能，幫助開發者更高效地編寫代碼。Trae 的主要優點在於其強大的 AI 能力，能夠理解開發者的需求並提供精準的代碼生成和修改建議。該產品目前提供免費版本，旨在幫助開發者減少重複性任務，專注於創造性工作，從而提升編程效率和生產力。

LiveKit Agents 是一個端到端框架，它使開發者能夠構建能夠通過語音、視頻和數據通道與用戶互動的智能多模態語音助手（AI代理）。它通過集成OpenAI的即時API和LiveKit的WebRTC基礎設施，提供了創建語音助手的快速入門指南，包括語音識別（STT）、語言模型（LLM）和文本轉語音（TTS）的流水線。此外，它還支持創建語音到語音代理、接聽和響應來電、以及代表用戶撥打電話的功能。

PsyDI是一個多模態互動聊天機器人，旨在通過分析用戶的多模態輸入來探索用戶潛在的認知風格，並最終確定他們的邁爾斯-布里格斯類型指標（MBTI）。此外，PsyDI還為每位用戶提供定製化的人物畫像和詳細分析。我們正在不斷改進PsyDI，未來將推出MBTI畫廊等新功能。

PigPig是一個基於多模態大型語言模型（LLM）的Discord機器人，旨在通過自然語言與用戶互動。它結合了先進的AI能力和實用功能，為Discord社區提供豐富的體驗。

Conva.AI是一個創新的AI助手即服務平臺，它結合了最新的GenAI技術與6年以上的行業經驗，提供快速構建、部署和管理AI助手及其功能的能力。該平臺通過Magic Studio提供一鍵生成AI助手，支持自然語言交互，並能夠動態生成與應用上下文相關的自然語言內容。它還提供了易於使用的SDK，支持多模態交互，並具備智能路由和維護功能。

GPT-4o（'o'代表'omni'）是自然人機交互的重要一步，它可以接受任意組合的文本、音頻、圖像和視頻輸入，並生成任意組合的文本、音頻和圖像輸出。它在音頻輸入響應上的速度極快，平均響應時間僅為320毫秒，與人類對話的響應時間相近。在非英語文本處理上取得了顯著進步，同時在API上速度更快且成本降低了50%。GPT-4o在視覺和音頻理解方面也比現有模型更出色。

Open WebUI是一個為LLMs（大型語言模型）設計的友好型Web用戶界面，支持Ollama和OpenAI兼容的API。它提供了直觀的聊天界面、響應式設計、快速響應性能、簡易安裝、代碼語法高亮、Markdown和LaTeX支持、本地RAG集成、Web瀏覽能力、提示預設支持、RLHF註釋、會話標記、模型下載/刪除、GGUF文件模型創建、多模型支持、多模態支持、模型文件構建器、協作聊天、OpenAI API集成等功能。