# 大型語言模型

Upstage AI利用強大的大型語言模型和文檔處理引擎，為企業轉變工作流程和提升效率。其主要優點包括高精度、高性能、適用於各行業的定製解決方案。定位於為領先企業賦能，提升工作效率。

Seed-Coder 是字節跳動 Seed 團隊推出的開源代碼大型語言模型系列，包含基礎、指令和推理模型，旨在通過最小的人力投入，自主管理代碼訓練數據，從而顯著提升編程能力。該模型在同類開源模型中表現優越，適合於各種編碼任務，定位於推動開源 LLM 生態的發展，適用於研究和工業界。

ZeroSearch 是一種新穎的強化學習框架，旨在激勵大型語言模型（LLMs）的搜索能力，而無需與實際搜索引擎進行交互。通過監督微調，ZeroSearch 轉變 LLM 為能夠生成相關和無關文檔的檢索模塊，並引入課程推出機制來逐步激發模型的推理能力。該技術的主要優點在於其性能優於基於真實搜索引擎的模型，同時產生的 API 成本為零。它適用於各種規模的 LLM，並支持不同的強化學習算法，適合需要高效檢索能力的研究和開發團隊。

NoteLLM 是一款專注於用戶生成內容的可檢索大型語言模型，旨在提升推薦系統的性能。通過將主題生成與嵌入生成相結合，NoteLLM 提高了對筆記內容的理解與處理能力。該模型採用了端到端的微調策略，適用於多模態輸入，增強了在多樣化內容領域的應用潛力。其重要性在於能夠有效提升筆記推薦的準確性和用戶體驗，特別適用於小紅書等 UGC 平臺。

SWE-RL 是由 Facebook Research 提出的一種基於強化學習的大型語言模型推理技術，旨在利用開源軟件演變數據提升模型在軟件工程任務中的表現。該技術通過規則驅動的獎勵機制，優化模型的推理能力，使其能夠更好地理解和生成高質量的代碼。SWE-RL 的主要優點在於其創新性的強化學習方法和對開源數據的有效利用，為軟件工程領域帶來了新的可能性。該技術目前處於研究階段，尚未明確商業化定價，但其在提升開發效率和代碼質量方面具有顯著潛力。

Coding-Tutor是一個基於大型語言模型（LLM）的編程輔導工具，旨在通過對話式交互幫助學習者提升編程能力。它通過Trace-and-Verify（Traver）工作流，結合知識追蹤和逐輪驗證，解決編程輔導中的關鍵挑戰。該工具不僅適用於編程教育，還可擴展到其他任務輔導場景，幫助根據學習者的知識水平調整教學內容。項目開源，支持社區貢獻。

Goedel-Prover 是一款專注於自動化定理證明的開源大型語言模型。它通過將自然語言數學問題翻譯為形式化語言（如 Lean 4），並生成形式化證明，顯著提升了數學問題的自動化證明效率。該模型在 miniF2F 基準測試中達到了 57.6% 的成功率，超越了其他開源模型。其主要優點包括高性能、開源可擴展性以及對數學問題的深度理解能力。Goedel-Prover 旨在推動自動化定理證明技術的發展，併為數學研究和教育提供強大的工具支持。

OmniParser 是微軟開發的一種先進的圖像解析技術，旨在將不規則的屏幕截圖轉換為結構化的元素列表，包括可交互區域的位置和圖標的功能描述。它通過深度學習模型，如 YOLOv8 和 Florence-2，實現了對 UI 界面的高效解析。該技術的主要優點在於其高效性、準確性和廣泛的適用性。OmniParser 可以顯著提高基於大型語言模型（LLM）的 UI 代理的性能，使其能夠更好地理解和操作各種用戶界面。它在多種應用場景中表現出色，如自動化測試、智能助手開發等。OmniParser 的開源特性和靈活的許可證使其成為開發者和研究人員的有力工具。

Mistral Small 24B 是一款由 Mistral AI 團隊開發的大型語言模型，擁有 240 億參數，支持多語言對話和指令處理。該模型通過指令微調，能夠生成高質量的文本內容，適用於聊天、寫作、編程輔助等多種場景。其主要優點包括強大的語言生成能力、多語言支持以及高效推理能力。該模型適合需要高性能語言處理的個人和企業用戶，具有開源許可，支持本地部署和量化優化，適合對數據隱私有要求的場景。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 團隊開發的一款大型語言模型，基於 Llama-70B 架構並通過強化學習進行優化。該模型在推理、對話和多語言任務中表現出色，支持多種應用場景，包括代碼生成、數學推理和自然語言處理。其主要優點是高效的推理能力和對複雜問題的解決能力，同時支持開源和商業使用。該模型適用於需要高性能語言生成和推理能力的企業和研究機構。

InternVL2.5-MPO是一個基於InternVL2.5和混合偏好優化（MPO）的多模態大型語言模型系列。它在多模態任務中表現出色，通過整合新近增量預訓練的InternViT與多種預訓練的大型語言模型（LLMs），如InternLM 2.5和Qwen 2.5，使用隨機初始化的MLP投影器。該模型系列在多模態推理偏好數據集MMPR上進行了訓練，包含約300萬個樣本，通過有效的數據構建流程和混合偏好優化技術，提升了模型的推理能力和回答質量。

SakanaAI/self-adaptive-llms是一個名為Transformer²的自適應框架，旨在解決傳統微調方法計算密集且處理多樣化任務能力靜態的挑戰。該框架能夠在推理過程中通過兩步機制即時調整大型語言模型（LLMs）以適應未見任務：首先，調度系統識別任務屬性；然後，使用強化學習訓練的任務特定'專家'向量被動態混合，以獲得針對輸入提示的目標行為。主要優點包括即時任務適應性、計算效率和靈活性。該項目由SakanaAI團隊開發，目前在GitHub上開源，擁有195顆星和12次分叉。

InternLM3-8B-Instruct是InternLM團隊開發的大型語言模型，具有卓越的推理能力和知識密集型任務處理能力。該模型在僅使用4萬億高質量詞元進行訓練的情況下，實現了比同級別模型低75%以上的訓練成本，同時在多個基準測試中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式，能夠通過長思維鏈解決複雜的推理任務，同時也具備流暢的用戶交互能力。該模型基於Apache-2.0許可證開源，適用於需要高效推理和知識處理的各種應用場景。

MinMo是阿里巴巴集團通義實驗室開發的一款多模態大型語言模型，擁有約80億參數，專注於實現無縫語音交互。它通過多個階段的訓練，包括語音到文本對齊、文本到語音對齊、語音到語音對齊和全雙工交互對齊，在140萬小時的多樣化語音數據和廣泛的語音任務上進行訓練。MinMo在語音理解和生成的各種基準測試中達到了最先進的性能，同時保持了文本大型語言模型的能力，並支持全雙工對話，即用戶和系統之間的同時雙向通信。此外，MinMo還提出了一種新穎且簡單的語音解碼器，在語音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增強，支持根據用戶指令控制語音生成，包括情感、方言和語速等細節，並模仿特定的聲音。MinMo的語音到文本延遲約為100毫秒，全雙工延遲理論上約為600毫秒，實際約為800毫秒。MinMo的開發旨在克服以往對齊多模態模型的主要限制，為用戶提供更自然、流暢和人性化的語音交互體驗。

Dria-Agent-a-3B是一個基於Qwen2.5-Coder系列的大型語言模型，專注於代理應用。它採用Pythonic函數調用方式，具有單次並行多函數調用、自由形式推理和動作以及即時複雜解決方案生成等優勢。該模型在多個基準測試中表現出色，如Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小為3.09B參數，支持BF16張量類型。

Dria-Agent-a-7B是一個基於Qwen2.5-Coder系列訓練的大型語言模型，專注於代理應用。它採用Pythonic函數調用方式，與傳統JSON函數調用方法相比，具有單次並行多函數調用、自由形式推理和動作以及即時複雜解決方案生成等優勢。該模型在多個基準測試中表現出色，包括Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小為76.2億參數，採用BF16張量類型，支持文本生成任務。其主要優點包括強大的編程輔助能力、高效的函數調用方式以及在特定領域的高準確率。該模型適用於需要複雜邏輯處理和多步驟任務執行的應用場景，如自動化編程、智能代理等。目前，該模型在Hugging Face平臺上提供，供用戶免費使用。

Dria-Agent-α是Hugging Face推出的大型語言模型（LLM）工具交互框架。它通過Python代碼來調用工具，與傳統的JSON模式相比，能更充分地發揮LLM的推理能力，使模型能夠以更接近人類自然語言的方式進行復雜問題的解決。該框架利用Python的流行性和接近偽代碼的語法，使LLM在代理場景中表現更佳。Dria-Agent-α的開發使用了合成數據生成工具Dria，通過多階段管道生成逼真的場景，訓練模型進行復雜問題解決。目前已有Dria-Agent-α-3B和Dria-Agent-α-7B兩個模型在Hugging Face上發佈。

該模型是量化版大型語言模型，採用4位量化技術，降低存儲與計算需求，適用於自然語言處理，參數量8.03B，免費且可用於非商業用途，適合資源受限環境下高性能語言應用需求者。

InternVL2.5-MPO是一個先進的多模態大型語言模型系列，基於InternVL2.5和混合偏好優化（MPO）構建。該系列模型在多模態任務中表現出色，能夠處理圖像、文本和視頻數據，並生成高質量的文本響應。模型採用'ViT-MLP-LLM'範式，通過像素unshuffle操作和動態分辨率策略優化視覺處理能力。此外，模型還引入了多圖像和視頻數據的支持，進一步擴展了其應用場景。InternVL2.5-MPO在多模態能力評估中超越了多個基準模型，證明了其在多模態領域的領先地位。

Agent Laboratory是一個由Samuel Schmidgall等人開發的項目，旨在通過大型語言模型驅動的專門代理，幫助研究人員完成從文獻綜述到實驗執行再到報告撰寫的整個研究流程。它不是為了取代人類的創造力，而是為了補充創造力，使研究人員能夠專注於構思和批判性思維，同時自動化編碼和文檔等重複性和耗時的任務。該工具的源代碼採用MIT許可證，允許在遵守MIT許可證條款的情況下使用、修改和分發代碼。

InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 開發的多模態大型語言模型，旨在通過混合偏好優化提升模型的推理能力。該模型在多模態任務中表現出色，能夠處理圖像和文本之間的複雜關係。它採用了先進的模型架構和優化技術，使其在多模態數據處理方面具有顯著優勢。該模型適用於需要高效處理和理解多模態數據的場景，如圖像描述生成、多模態問答等。其主要優點包括強大的推理能力和高效的模型架構。

AnyParser Pro 是由 CambioML 開發的一款創新的文檔解析工具，它利用大型語言模型（LLM）技術，能夠快速準確地從 PDF、PPT 和圖像文件中提取出完整的文本內容。該技術的主要優點在於其高效的處理速度和高精度的解析能力，能夠顯著提高文檔處理的效率。AnyParser Pro 的背景信息顯示，它是由 Y Combinator 孵化的初創公司 CambioML 推出的，旨在為用戶提供一種簡單易用且功能強大的文檔解析解決方案。目前，該產品提供免費試用，用戶可以通過獲取 API 密鑰來訪問其功能。

Sonus-1是Sonus AI推出的一系列大型語言模型（LLMs），旨在推動人工智能的邊界。這些模型以其高性能和多應用場景的多功能性而設計，包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本，以滿足不同需求。Sonus-1 Pro (w/ Reasoning)在多個基準測試中表現突出，特別是在推理和數學問題上，展現了其超越其他專有模型的能力。Sonus AI致力於開發高性能、可負擔、可靠且注重隱私的大型語言模型。

InternVL2_5-26B-MPO是一個多模態大型語言模型（MLLM），它在InternVL2.5的基礎上，通過混合偏好優化（Mixed Preference Optimization, MPO）進一步提升了模型性能。該模型能夠處理包括圖像、文本在內的多模態數據，廣泛應用於圖像描述、視覺問答等場景。它的重要性在於能夠理解和生成與圖像內容緊密相關的文本，推動了多模態人工智能的邊界。產品背景信息包括其在多模態任務中的卓越性能，以及在OpenCompass Learderboard中的評估結果。該模型為研究者和開發者提供了強大的工具，以探索和實現多模態人工智能的潛力。

InternVL2_5-8B-MPO-AWQ是OpenGVLab推出的一款多模態大型語言模型，它基於InternVL2.5系列，並採用混合偏好優化（Mixed Preference Optimization, MPO）技術。該模型在視覺和語言的理解與生成方面展現了卓越的性能，尤其在多模態任務中表現出色。它通過結合視覺部分InternViT和語言部分InternLM或Qwen，使用隨機初始化的MLP投影器進行增量預訓練，實現了對圖像和文本的深入理解與交互。該技術的重要性在於它能夠處理包括單圖像、多圖像以及視頻數據在內的多種數據類型，為多模態人工智能領域提供了新的解決方案。

InternVL2.5-MPO是一個先進的多模態大型語言模型系列，它基於InternVL2.5和混合偏好優化構建。該模型整合了新增量預訓練的InternViT與各種預訓練的大型語言模型，包括InternLM 2.5和Qwen 2.5，使用隨機初始化的MLP投影器。InternVL2.5-MPO在新版本中保留了與InternVL 2.5及其前身相同的模型架構，遵循“ViT-MLP-LLM”範式。該模型支持多圖像和視頻數據，通過混合偏好優化（MPO）進一步提升模型性能，使其在多模態任務中表現更優。

HuatuoGPT-o1-8B 是一個專為高級醫療推理設計的醫療領域大型語言模型（LLM）。它在提供最終響應之前會生成一個複雜的思考過程，反映並完善其推理過程。該模型基於LLaMA-3.1-8B構建，支持英文，並且採用'thinks-before-it-answers'的方法，輸出格式包括推理過程和最終響應。此模型在醫療領域具有重要意義，因為它能夠處理複雜的醫療問題並提供深思熟慮的答案，這對於提高醫療決策的質量和效率至關重要。

HuatuoGPT-o1是一個專為醫療複雜推理設計的大語言模型，能夠識別錯誤、探索替代策略並完善答案。該模型通過利用可驗證的醫療問題和專門的醫療驗證器，推進了複雜推理的發展。HuatuoGPT-o1的主要優點包括：使用驗證器指導複雜推理軌跡的搜索，以微調大型語言模型；應用基於驗證器獎勵的強化學習（PPO）進一步提升複雜推理能力。HuatuoGPT-o1的開源模型、數據和代碼，使其在醫療教育和研究領域具有重要價值。

InternVL2_5-4B-MPO-AWQ是一個多模態大型語言模型（MLLM），專注於提升模型在圖像和文本交互任務中的表現。該模型基於InternVL2.5系列，並通過混合偏好優化（MPO）進一步提升性能。它能夠處理包括單圖像和多圖像、視頻數據在內的多種輸入，適用於需要圖像和文本交互理解的複雜任務。InternVL2_5-4B-MPO-AWQ以其卓越的多模態能力，為圖像-文本到文本的任務提供了一個強大的解決方案。

InternVL2.5-MPO是一個先進的多模態大型語言模型系列，基於InternVL2.5和混合偏好優化構建。該模型集成了新增量預訓練的InternViT和各種預訓練的大型語言模型，如InternLM 2.5和Qwen 2.5，使用隨機初始化的MLP投影器。它支持多圖像和視頻數據，並且在多模態任務中表現出色，能夠理解和生成與圖像相關的文本內容。