# 多模态交互

TEN Agent 是基于 TEN 框架构建的实时对话 AI引擎，为开发者提供快速、高效的工具来构建实时对话式 AI Agent，如AI虚拟客服、AI 口语陪练、AI 情感陪伴、AI 个人助理等。 TEN Agent 目前已集成 DeepSeek、Gemini 2.0、OpenAI Realtime、Qwen、RTC 等多种模型及组件，同时适配 Dify、Coze 主流编排工具，并且支持 ESP 32，快速让你的 AI bot 能听能说。

ChatWise是一款高性能的AI聊天工具，支持GPT-4、Claude、Gemini等主流语言模型。它注重隐私保护，所有数据本地存储，仅在发送请求时与LLM提供商交互。其多模态交互功能允许用户通过音频、PDF、图片等多种形式进行聊天，同时支持网页搜索和HTML/React等渲染功能。ChatWise定位为高效、简洁且功能强大的桌面端聊天工具，适合需要快速获取信息和进行多模态交互的用户。

UI-TARS 是由字节跳动研究团队开发的下一代原生GUI代理模型，旨在通过人类般的感知、推理和行动能力与图形用户界面进行无缝交互。该模型集成了感知、推理、定位和记忆等所有关键组件，能够在无需预定义工作流或手动规则的情况下实现端到端的任务自动化。其主要优点包括强大的多模态交互能力、高精度的视觉感知和语义理解能力，以及在多种复杂任务场景中的出色表现。该模型适用于需要自动化GUI交互的场景，如自动化测试、智能办公等，能够显著提高工作效率。

Trae 是一款面向开发者的 AI 驱动的集成开发环境（IDE）。它通过智能代码补全、多模态交互以及对整个代码库的上下文分析等功能，帮助开发者更高效地编写代码。Trae 的主要优点在于其强大的 AI 能力，能够理解开发者的需求并提供精准的代码生成和修改建议。该产品目前提供免费版本，旨在帮助开发者减少重复性任务，专注于创造性工作，从而提升编程效率和生产力。

LiveKit Agents 是一个端到端框架，它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手（AI代理）。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施，提供了创建语音助手的快速入门指南，包括语音识别（STT）、语言模型（LLM）和文本转语音（TTS）的流水线。此外，它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。

PsyDI是一个多模态互动聊天机器人，旨在通过分析用户的多模态输入来探索用户潜在的认知风格，并最终确定他们的迈尔斯-布里格斯类型指标（MBTI）。此外，PsyDI还为每位用户提供定制化的人物画像和详细分析。我们正在不断改进PsyDI，未来将推出MBTI画廊等新功能。

PigPig是一个基于多模态大型语言模型（LLM）的Discord机器人，旨在通过自然语言与用户互动。它结合了先进的AI能力和实用功能，为Discord社区提供丰富的体验。

Conva.AI是一个创新的AI助手即服务平台，它结合了最新的GenAI技术与6年以上的行业经验，提供快速构建、部署和管理AI助手及其功能的能力。该平台通过Magic Studio提供一键生成AI助手，支持自然语言交互，并能够动态生成与应用上下文相关的自然语言内容。它还提供了易于使用的SDK，支持多模态交互，并具备智能路由和维护功能。

GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。

Open WebUI是一个为LLMs（大型语言模型）设计的友好型Web用户界面，支持Ollama和OpenAI兼容的API。它提供了直观的聊天界面、响应式设计、快速响应性能、简易安装、代码语法高亮、Markdown和LaTeX支持、本地RAG集成、Web浏览能力、提示预设支持、RLHF注释、会话标记、模型下载/删除、GGUF文件模型创建、多模型支持、多模态支持、模型文件构建器、协作聊天、OpenAI API集成等功能。