# 本地部署

Dyad是一款强大的应用构建工具，采用开源技术，用户可以自由定制和构建AI应用。其主要优点包括灵活性高、功能强大、支持本地开发和定制化。

Xark-Argo是一款桌面客户端产品，旨在帮助用户轻松构建和使用自己的大语言模型。它支持多种操作系统，包括MacOS和Windows，提供了强大的本地化模型部署能力。通过集成ollama技术，用户可以一键下载开源模型，并支持大模型API，如ChatGPT、Claude、Siliconflow等，大大降低了使用门槛。该产品适用于需要高效处理文本和知识管理的个人和企业用户，具有高度的灵活性和扩展性。目前暂无明确价格信息，但其功能定位表明它可能面向中高端用户群体。

autoMate 是一款基于 OmniParser 的 AI+RPA 自动化工具，旨在通过自然语言描述任务，实现复杂自动化流程。它支持本地部署，保护数据安全和隐私，同时能够自动操作计算机界面，完成复杂工作流。该工具主要面向需要高效处理重复性任务的用户，帮助他们节省时间，专注于更有价值的工作。目前该产品在 GitHub 上开源，用户可以免费使用。

Mistral Saba 是 Mistral AI 推出的首个专门针对中东和南亚地区的定制化语言模型。该模型拥有 240 亿参数，通过精心策划的数据集进行训练，能够提供比同类大型模型更准确、更相关且更低成本的响应。它支持阿拉伯语和多种印度起源语言，尤其擅长南印度语言（如泰米尔语），适用于需要精准语言理解和文化背景支持的场景。Mistral Saba 可通过 API 使用，也可本地部署，具有轻量化、单 GPU 系统部署和快速响应的特点，适合企业级应用。

Kolosal AI 是一款用于本地设备训练和运行大型语言模型（LLMs）的工具。它通过简化模型训练、优化和部署流程，使用户能够在本地设备上高效地使用 AI 技术。该工具支持多种硬件平台，提供快速的推理速度和灵活的定制能力，适合从个人开发者到大型企业的广泛应用场景。其开源特性也使得用户可以根据自身需求进行二次开发。

Mistral Small 3 是由 Mistral AI 推出的一款开源语言模型，具有 24B 参数，采用 Apache 2.0 许可证。该模型专为低延迟和高效性能设计，适合需要快速响应的生成式 AI 任务。它在多任务语言理解（MMLU）基准测试中达到 81% 的准确率，并且能够以每秒 150 个标记的速度生成文本。Mistral Small 3 的设计目标是提供一个强大的基础模型，用于本地部署和定制化开发，支持多种行业应用，如金融服务、医疗保健和机器人技术等。该模型未使用强化学习（RL）或合成数据训练，因此在模型生产管线中处于较早期阶段，适合用于构建推理能力。

Nexa AI提供企业级的设备上的智能AI解决方案，包括Tiny Multimodal Models和Seamless Edge Deployment解决方案，旨在构建私密、成本效益高且可靠的设备上AI。产品背景强调了在没有互联网连接的情况下也能提供可靠的能力，适用于各种挑战性环境，如偏远地区、油和气矿场、互联网受限的工作场所、极端位置等。Nexa AI的产品定位是为企业提供定制化的设备上模型和本地部署解决方案，以增强控制和速度，无论是在本地还是在任何设备上。

Trieve Vector Inference是一个本地矢量推理解决方案，旨在解决文本嵌入服务的高延迟和高限制率问题。它允许用户在自己的云中托管专用的嵌入服务器，以实现更快的文本嵌入推理。该产品通过提供高性能的本地推理服务，帮助企业减少对外部服务的依赖，提高数据处理速度和效率。

Self-hosted AI Starter Kit 是一个本地部署的AI工具包，旨在帮助用户在自有硬件上快速启动AI项目。它通过Docker Compose模板，简化了本地AI工具的部署过程。该工具包包括n8n以及一系列精选的本地AI工具，如Ollama、Qdrant和PostgreSQL，支持快速搭建自托管AI工作流。它的优势在于增强了数据隐私保护，减少了对外部API调用的依赖，从而降低了成本。此外，它还提供了AI工作流模板和网络配置，支持本地部署或私有云实例。

voicechat2是一个基于WebSocket的快速、完全本地化的AI语音聊天应用程序，使用户能够在本地环境中实现语音到语音的即时通讯。它利用了AMD RDNA3显卡和Faster Whisper技术，显著降低了语音通讯的延迟，提高了通讯效率。该产品适用于需要快速响应和实时通讯的开发者和技术人员。

bilibot是一个基于哔哩哔哩用户评论训练的本地聊天机器人，支持文字聊天和语音对话。它使用Qwen1.5-32B-Chat作为基础模型，并结合苹果的mlx-lm LORA项目进行微调。语音生成部分基于GPT-SoVITS项目，使用派蒙语音模型。该机器人可以快速生成对话内容，适用于需要智能对话系统的场合。

FunClip是一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别，随后用户可以自由选择识别结果中的文本片段或说话人，点击裁剪按钮即可获取对应片段的视频。FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large，是当前识别效果最优的开源中文ASR模型之一，并且能够一体化的准确预测时间戳。

BOMML是一个智能AI托管平台，为您的业务提供一站式AI解决方案。我们从数据收集到模型部署，为您提供全方位的协助。我们的AI模型运行在安全的数据中心云上，保护您的隐私和数据安全。BOMML支持多种任务，包括文本生成、对话聊天、嵌入控制、分析、光学字符识别等。无论您的技术栈如何，都可以轻松地通过API集成AI到您的应用中。我们提供市场上最具竞争力的定价，您只需按实际使用量支付费用。如果您有特定任务或基于您的数据需要AI，我们可以为您进行调优和训练。您可以将文档、文件和其他元数据添加为知识库，以生成更相关的响应。如果您需要在您的硬件上运行专属的AI模型，我们也会提供帮助。无论您有什么需求，我们的专家都会为您找到解决方案。