# 本地部署

Dyad是一款強大的應用構建工具，採用開源技術，用戶可以自由定製和構建AI應用。其主要優點包括靈活性高、功能強大、支持本地開發和定製化。

Xark-Argo是一款桌面客戶端產品，旨在幫助用戶輕鬆構建和使用自己的大語言模型。它支持多種操作系統，包括MacOS和Windows，提供了強大的本地化模型部署能力。通過集成ollama技術，用戶可以一鍵下載開源模型，並支持大模型API，如ChatGPT、Claude、Siliconflow等，大大降低了使用門檻。該產品適用於需要高效處理文本和知識管理的個人和企業用戶，具有高度的靈活性和擴展性。目前暫無明確價格信息，但其功能定位表明它可能面向中高端用戶群體。

autoMate 是一款基於 OmniParser 的 AI+RPA 自動化工具，旨在通過自然語言描述任務，實現複雜自動化流程。它支持本地部署，保護數據安全和隱私，同時能夠自動操作計算機界面，完成複雜工作流。該工具主要面向需要高效處理重複性任務的用戶，幫助他們節省時間，專注於更有價值的工作。目前該產品在 GitHub 上開源，用戶可以免費使用。

Mistral Saba 是 Mistral AI 推出的首個專門針對中東和南亞地區的定製化語言模型。該模型擁有 240 億參數，通過精心策劃的數據集進行訓練，能夠提供比同類大型模型更準確、更相關且更低成本的響應。它支持阿拉伯語和多種印度起源語言，尤其擅長南印度語言（如泰米爾語），適用於需要精準語言理解和文化背景支持的場景。Mistral Saba 可通過 API 使用，也可本地部署，具有輕量化、單 GPU 系統部署和快速響應的特點，適合企業級應用。

Kolosal AI 是一款用於本地設備訓練和運行大型語言模型（LLMs）的工具。它通過簡化模型訓練、優化和部署流程，使用戶能夠在本地設備上高效地使用 AI 技術。該工具支持多種硬件平臺，提供快速的推理速度和靈活的定製能力，適合從個人開發者到大型企業的廣泛應用場景。其開源特性也使得用戶可以根據自身需求進行二次開發。

Mistral Small 3 是由 Mistral AI 推出的一款開源語言模型，具有 24B 參數，採用 Apache 2.0 許可證。該模型專為低延遲和高效性能設計，適合需要快速響應的生成式 AI 任務。它在多任務語言理解（MMLU）基準測試中達到 81% 的準確率，並且能夠以每秒 150 個標記的速度生成文本。Mistral Small 3 的設計目標是提供一個強大的基礎模型，用於本地部署和定製化開發，支持多種行業應用，如金融服務、醫療保健和機器人技術等。該模型未使用強化學習（RL）或合成數據訓練，因此在模型生產管線中處於較早期階段，適合用於構建推理能力。

Nexa AI提供企業級的設備上的智能AI解決方案，包括Tiny Multimodal Models和Seamless Edge Deployment解決方案，旨在構建私密、成本效益高且可靠的設備上AI。產品背景強調了在沒有互聯網連接的情況下也能提供可靠的能力，適用於各種挑戰性環境，如偏遠地區、油和氣礦場、互聯網受限的工作場所、極端位置等。Nexa AI的產品定位是為企業提供定製化的設備上模型和本地部署解決方案，以增強控制和速度，無論是在本地還是在任何設備上。

Trieve Vector Inference是一個本地矢量推理解決方案，旨在解決文本嵌入服務的高延遲和高限制率問題。它允許用戶在自己的雲中託管專用的嵌入服務器，以實現更快的文本嵌入推理。該產品通過提供高性能的本地推理服務，幫助企業減少對外部服務的依賴，提高數據處理速度和效率。

Self-hosted AI Starter Kit 是一個本地部署的AI工具包，旨在幫助用戶在自有硬件上快速啟動AI項目。它通過Docker Compose模板，簡化了本地AI工具的部署過程。該工具包包括n8n以及一系列精選的本地AI工具，如Ollama、Qdrant和PostgreSQL，支持快速搭建自託管AI工作流。它的優勢在於增強了數據隱私保護，減少了對外部API調用的依賴，從而降低了成本。此外，它還提供了AI工作流模板和網絡配置，支持本地部署或私有云實例。

voicechat2是一個基於WebSocket的快速、完全本地化的AI語音聊天應用程序，使用戶能夠在本地環境中實現語音到語音的即時通訊。它利用了AMD RDNA3顯卡和Faster Whisper技術，顯著降低了語音通訊的延遲，提高了通訊效率。該產品適用於需要快速響應和即時通訊的開發者和技術人員。

bilibot是一個基於嗶哩嗶哩用戶評論訓練的本地聊天機器人，支持文字聊天和語音對話。它使用Qwen1.5-32B-Chat作為基礎模型，並結合蘋果的mlx-lm LORA項目進行微調。語音生成部分基於GPT-SoVITS項目，使用派蒙語音模型。該機器人可以快速生成對話內容，適用於需要智能對話系統的場合。

FunClip是一款完全開源、本地部署的自動化視頻剪輯工具，通過調用阿里巴巴通義實驗室開源的FunASR Paraformer系列模型進行視頻的語音識別，隨後用戶可以自由選擇識別結果中的文本片段或說話人，點擊裁剪按鈕即可獲取對應片段的視頻。FunClip集成了阿里巴巴開源的工業級模型Paraformer-Large，是當前識別效果最優的開源中文ASR模型之一，並且能夠一體化的準確預測時間戳。

BOMML是一個智能AI託管平臺，為您的業務提供一站式AI解決方案。我們從數據收集到模型部署，為您提供全方位的協助。我們的AI模型運行在安全的數據中心雲上，保護您的隱私和數據安全。BOMML支持多種任務，包括文本生成、對話聊天、嵌入控制、分析、光學字符識別等。無論您的技術棧如何，都可以輕鬆地通過API集成AI到您的應用中。我們提供市場上最具競爭力的定價，您只需按實際使用量支付費用。如果您有特定任務或基於您的數據需要AI，我們可以為您進行調優和訓練。您可以將文檔、文件和其他元數據添加為知識庫，以生成更相關的響應。如果您需要在您的硬件上運行專屬的AI模型，我們也會提供幫助。無論您有什麼需求，我們的專家都會為您找到解決方案。