# 視覺

MiniCPM-o 2.6 是OpenBMB團隊開發的最新多模態大型語言模型（MLLM），具有8B參數，能夠在手機等端側設備上實現高質量的視覺、語音和多模態直播功能。該模型基於SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B構建，採用端到端的方式訓練，性能與GPT-4o-202405相當。其主要優點包括領先的視覺能力、先進的語音能力、強大的多模態直播能力、強大的OCR能力以及優越的效率。該模型免費開源，適用於學術研究和商業用途。

Phi-3 Vision是一個輕量級、最先進的開放多模態模型，基於包括合成數據和經過篩選的公開可用網站在內的數據集構建，專注於文本和視覺的非常高質量的推理密集數據。該模型屬於Phi-3模型家族，多模態版本支持128K上下文長度（以token計），經過嚴格的增強過程，結合了監督微調和直接偏好優化，以確保精確的指令遵循和強大的安全措施。

Qwen-VL 是阿里雲推出的通用型視覺語言模型,具有強大的視覺理解和多模態推理能力。它支持零樣本圖像描述、視覺問答、文本理解、圖像地標定位等任務,在多個視覺基準測試中達到或超過當前最優水平。該模型採用 Transformer 結構,以 7B 參數規模進行預訓練,支持 448x448 分辨率,可以端到端處理圖像與文本的多模態輸入與輸出。Qwen-VL 的優勢包括通用性強、支持多語種、細粒度理解等。它可以廣泛應用於圖像理解、視覺問答、圖像標註、圖文生成等任務。

moondream是一個使用SigLIP、Phi-1.5和LLaVA訓練數據集構建的16億參數模型。由於使用了LLaVA數據集，權重受CC-BY-SA許可證保護。您可以在Huggingface Spaces上嘗試使用它。該模型在VQAv2、GQA、VizWiz和TextVQA基準測試中表現如下：LLaVA-1.5（13.3B參數）：80.0、63.3、53.6、61.3；LLaVA-1.5（7.3B參數）：78.5、62.0、50.0、58.2；MC-LLaVA-3B（3B參數）：64.2、49.6、24.9、38.6；LLaVA-Phi（3B參數）：71.4、-、35.9、48.6；moondream1（1.6B參數）：74.3、56.3、30.3、39.8。

這篇論文系統評估了大型語言模型（LLMs）生成和識別逐漸複雜的視覺概念的能力，並展示瞭如何使用文本模型訓練初步的視覺表示學習系統。雖然語言模型不能直接處理像素級的視覺信息，但使用代碼表示圖像進行研究。LLM 生成的圖像雖然不像自然圖像，但在圖像生成和糾正方面的結果表明，準確建模字符串可以教會語言模型許多關於視覺世界的方面。此外，利用文本模型生成的圖像進行自監督視覺表示學習的實驗，突出了只使用 LLMs 就能訓練能夠對自然圖像進行語義評估的視覺模型的潛力。

InternVL通過將ViT模型擴展到60億參數並與語言模型對齊,構建出目前最大的14B開源視覺基礎模型,在視覺感知、跨模態檢索、多模態對話等廣泛任務上取得了32項state-of-the-art性能。

NEX是一個媒體技術公司,正在開發可控制的AI模型,用於視覺表達。我們相信技術將幫助我們追求偉大的故事。我們的使命是增強人類的講故事能力。

Blenny AI 是一款可以幫助用戶對網頁進行截圖並進行智能分析的 AI 視覺輔助工具。用戶可以通過截圖快速獲取 AI 摘要、翻譯和訪問網頁等功能。此外，Blenny AI 還支持自定義 AI 代理，根據用戶的需求提供個性化的服務。Blenny AI 由 GPT-4V 驅動。

Moji AI - Chat & Content AI是您掌握內容創作藝術的終極多合一應用，由先進的人工智能驅動。Moji AI簡化並提升了您的寫作和內容管理體驗，是專業人士和創意人士的必不可少的工具。主要功能包括AI寫作助手、電子郵件寫作模板、文本轉圖像生成、Instagram參與率計算器等。Moji AI - Chat & Content AI Pro計劃：月度：$9.99，年度：$89.99。適用於iPhone、iPad和Mac，支持英語語言。

Quill News Digest是一款不同尋常的日常新聞摘要應用。通過視覺摘要和易於閱讀的集合，提供最重要的故事。圖像、地圖、引用。花更少的時間來了解最新動態，更多時間享受你所做的事情！我們從互聯網上的各種來源總結了最重要的故事，為您提供簡潔、公正的快速閱讀。每個集合中的故事都包括一個“快速”閱讀、一個擴展摘要、圖像、引用、相關位置以及閱讀您選擇的來源的單獨文章的選項。Quill每天早上8點發布一次摘要，讓您可以翻閱互聯網上最重要的故事。使用Quill，您可以確保自己是最新的，而不會被過多的有偏見的信息所淹沒。

Abacus.AI是全球首個端到端AI平臺，為常見的企業應用場景實現即時的大規模深度學習。通過我們先進的MLOps平臺，您可以使用自己的模型或使用我們的神經網絡技術創建高度準確的模型，並在各種應用場景中進行操作，包括預測、個性化、視覺、異常檢測和NLP等。