# 邊緣計算

Hailo AI on the Edge Processors提供AI加速器和視覺處理器，支持邊緣設備解決方案，旨在實現新時代的AI邊緣處理和視頻增強。產品定位於提供高性能深度學習應用，同時支持感知和視頻增強。

RF-DETR 是一個基於變壓器的即時目標檢測模型，旨在為邊緣設備提供高精度和即時性能。它在 Microsoft COCO 基準測試中超過了 60 AP，具有競爭力的性能和快速的推理速度，適合各種實際應用場景。RF-DETR 旨在解決現實世界中的物體檢測問題，適用於需要高效且準確檢測的行業，如安防、自動駕駛和智能監控等。

OmniAudio-2.6B是一個2.6B參數的多模態模型，能夠無縫處理文本和音頻輸入。該模型結合了Gemma-2B、Whisper turbo和一個自定義投影模塊，與傳統的將ASR和LLM模型串聯的方法不同，它將這兩種能力統一在一個高效的架構中，以最小的延遲和資源開銷實現。這使得它能夠安全、快速地在智能手機、筆記本電腦和機器人等邊緣設備上直接處理音頻文本。

SmolVLM是一個小型但功能強大的視覺語言模型（VLM），擁有2B參數，以其較小的內存佔用和高效性能在同類模型中處於領先地位。SmolVLM完全開源，包括所有模型檢查點、VLM數據集、訓練配方和工具均在Apache 2.0許可下發布。該模型適合在瀏覽器或邊緣設備上進行本地部署，降低推理成本，並允許用戶自定義。

Workers AI是Cloudflare推出的一款在邊緣計算環境中運行機器學習模型的產品。它允許用戶在全球範圍內的Cloudflare網絡節點上部署和運行AI應用，這些應用可以是圖像分類、文本生成、目標檢測等多種類型。Workers AI的推出標誌著Cloudflare在全球網絡中部署了GPU資源，使得開發者能夠構建和部署接近用戶的雄心勃勃的AI應用。該產品的主要優點包括全球分佈式部署、低延遲、高性能和可靠性，同時支持免費和付費計劃。

Moonshine 是一系列為資源受限設備優化的語音轉文本模型，非常適合即時、設備上的應用程序，如現場轉錄和語音命令識別。在 HuggingFace 維護的 OpenASR 排行榜中使用的測試數據集上，Moonshine 的詞錯誤率（WER）優於同樣大小的 OpenAI Whisper 模型。此外，Moonshine 的計算需求隨著輸入音頻的長度而變化，這意味著較短的輸入音頻處理得更快，與 Whisper 模型不同，後者將所有內容都作為 30 秒的塊來處理。Moonshine 處理 10 秒音頻片段的速度是 Whisper 的 5 倍，同時保持相同或更好的 WER。

Llama模型是Meta公司推出的大型語言模型，通過量化技術，使得模型體積更小、運行速度更快，同時保持了模型的質量和安全性。這些模型特別適用於移動設備和邊緣部署，能夠在資源受限的設備上提供快速的設備內推理，同時減少內存佔用。量化Llama模型的開發，標誌著在移動AI領域的一個重要進步，使得更多的開發者能夠在不需要大量計算資源的情況下，構建和部署高質量的AI應用。

Ministral-8B-Instruct-2410是由Mistral AI團隊開發的一款大型語言模型，專為本地智能、設備端計算和邊緣使用場景設計。該模型在類似的大小模型中表現優異，支持128k上下文窗口和交錯滑動窗口注意力機制，能夠在多語言和代碼數據上進行訓練，支持函數調用，詞彙量達到131k。Ministral-8B-Instruct-2410模型在各種基準測試中表現出色，包括知識與常識、代碼與數學以及多語言支持等方面。該模型在聊天/競技場（gpt-4o判斷）中的性能尤為突出，能夠處理複雜的對話和任務。

Llama 3.2是一系列大型語言模型（LLMs），預訓練和微調在1B和3B大小的多語言文本模型，以及11B和90B大小的文本和圖像輸入輸出文本的模型。這些模型可以用於開發高性能和高效率的應用。Llama 3.2的模型可以在移動設備和邊緣設備上運行，支持多種編程語言，並且可以通過Llama Stack構建代理應用程序。

Grounding DINO 1.5是由IDEA Research開發，旨在推進開放世界目標檢測技術邊界的高級模型系列。該系列包含兩個模型：Grounding DINO 1.5 Pro和Grounding DINO 1.5 Edge，分別針對廣泛的應用場景和邊緣計算場景進行了優化。

VILA是一個預訓練的視覺語言模型（VLM），它通過大規模的交錯圖像-文本數據進行預訓練，從而實現視頻理解和多圖像理解能力。VILA通過AWQ 4bit量化和TinyChat框架在邊緣設備上可部署。主要優點包括：1) 交錯圖像-文本數據對於提升性能至關重要；2) 在交錯圖像-文本預訓練期間不凍結大型語言模型（LLM）可以促進上下文學習；3) 重新混合文本指令數據對於提升VLM和純文本性能至關重要；4) 標記壓縮可以擴展視頻幀數。VILA展示了包括視頻推理、上下文學習、視覺思維鏈和更好的世界知識等引人入勝的能力。

Octopus-V2-2B是由斯坦福大學NexaAI開發的開源大型語言模型，具有20億參數，專門為Android API的功能調用定製。它採用了獨特的功能性標記策略，用於訓練和推理階段，使其達到與GPT-4相當的性能水平，並提高了推理速度。Octopus-V2-2B特別適合邊緣計算設備，能夠在設備上直接運行，支持廣泛的應用場景。

Chooch AI Vision Platform是一款AI視覺平臺，通過AI算法實現對圖像和視頻的即時分析和識別。該平臺可幫助企業快速檢測和分析成千上萬種視覺對象、圖像或動作，並在圖像被識別出時立即採取行動。具有高度精確和高效的操作，能夠提升業務運營性能。Chooch AI Vision Platform提供多種預訓練的AI模型，可快速部署並支持在雲端或邊緣設備上使用。定價根據具體需求定製。

Blaize 是一款 AI 邊緣計算硬件和軟件平臺，更高效、更靈活、更準確、更經濟實惠。它能夠在邊緣部署 AI 而無需犧牲性能，為市場轉型和工作生活方式改善帶來了巨大的價值。