# 強化學習

ZeroSearch 是一種新穎的強化學習框架，旨在激勵大型語言模型（LLMs）的搜索能力，而無需與實際搜索引擎進行交互。通過監督微調，ZeroSearch 轉變 LLM 為能夠生成相關和無關文檔的檢索模塊，並引入課程推出機制來逐步激發模型的推理能力。該技術的主要優點在於其性能優於基於真實搜索引擎的模型，同時產生的 API 成本為零。它適用於各種規模的 LLM，並支持不同的強化學習算法，適合需要高效檢索能力的研究和開發團隊。

Search-R1 是一個強化學習框架，旨在訓練能夠進行推理和調用搜索引擎的語言模型（LLMs）。它基於 veRL 構建，支持多種強化學習方法和不同的 LLM 架構，使得在工具增強的推理研究和開發中具備高效性和可擴展性。

該模型通過強化學習和高質量推理軌跡的掩蔽自監督微調，實現了對擴散大語言模型的推理能力的提升。此技術的重要性在於它能夠優化模型的推理過程，減少計算成本，同時保證學習動態的穩定性。適合希望在寫作和推理任務中提升效率的用戶。

DeepCoder-14B-Preview 是一個基於強化學習的代碼推理大型語言模型，能夠處理長上下文，具有 60.6% 的通過率，適用於編程任務和自動化代碼生成。該模型的優勢在於其訓練方法的創新，提供了比其他模型更優的性能，且完全開源，支持廣泛的社區應用和研究。

混元T1 是騰訊推出的超大規模推理模型，基於強化學習技術，通過大量後訓練顯著提升推理能力。它在長文處理和上下文捕捉上表現突出，同時優化了計算資源的消耗，具備高效的推理能力。適用於各類推理任務，尤其在數學、邏輯推理等領域表現優異。該產品以深度學習為基礎，結合實際反饋不斷優化，適合科研、教育等多個領域的應用。

Light-R1-14B-DS 是由北京奇虎科技有限公司開發的開源數學模型。該模型基於 DeepSeek-R1-Distill-Qwen-14B 進行強化學習訓練，在 AIME24 和 AIME25 數學競賽基準測試中分別達到了 74.0 和 60.2 的高分，超越了許多 32B 參數量的模型。它在輕量級預算下成功實現了對已經長鏈推理微調模型的強化學習嘗試，為開源社區提供了一個強大的數學模型工具。該模型的開源有助於推動自然語言處理在教育領域的應用，特別是數學問題解決方面，為研究人員和開發者提供了寶貴的研究基礎和實踐工具。

Light-R1 是一個由 Qihoo360 開發的開源項目，旨在通過課程式監督微調（SFT）、直接偏好優化（DPO）和強化學習（RL）訓練長鏈推理模型。該項目通過去汙染數據集和高效的訓練方法，實現了從零開始的長鏈推理能力。其主要優點包括開源的訓練數據、低成本的訓練方式以及在數學推理領域的卓越性能。項目背景基於當前長鏈推理模型的訓練需求，旨在提供一種透明且可復現的訓練方法。項目目前免費開源，適合研究機構和開發者使用。

R1-Omni 是一個創新的多模態情緒識別模型，通過強化學習提升模型的推理能力和泛化能力。該模型基於 HumanOmni-0.5B 開發，專注於情緒識別任務，能夠通過視覺和音頻模態信息進行情緒分析。其主要優點包括強大的推理能力、顯著提升的情緒識別性能以及在分佈外數據上的出色表現。該模型適用於需要多模態理解的場景，如情感分析、智能客服等領域，具有重要的研究和應用價值。

Steiner 是由 Yichao 'Peak' Ji 開發的推理模型系列，專注於通過強化學習在合成數據上訓練，能夠在推理時探索多種路徑並自主驗證或回溯。該模型的目標是復現 OpenAI o1 的推理能力，並驗證推理時的擴展曲線。Steiner-preview 是一個正在進行中的項目，其開源目的是為了分享知識並獲取更多真實用戶的反饋。儘管該模型在某些基準測試中表現出色，但尚未完全實現 OpenAI o1 的推理擴展能力，因此仍處於開發階段。

NotaGen 是一款創新的符號音樂生成模型，通過預訓練、微調和強化學習三個階段提升音樂生成質量。它利用大語言模型技術，能夠生成高質量的古典樂譜，為音樂創作帶來新的可能性。該模型的主要優點包括高效生成、風格多樣和高質量輸出。它適用於音樂創作、教育和研究等領域，具有廣泛的應用前景。

SWE-RL 是由 Facebook Research 提出的一種基於強化學習的大型語言模型推理技術，旨在利用開源軟件演變數據提升模型在軟件工程任務中的表現。該技術通過規則驅動的獎勵機制，優化模型的推理能力，使其能夠更好地理解和生成高質量的代碼。SWE-RL 的主要優點在於其創新性的強化學習方法和對開源數據的有效利用，為軟件工程領域帶來了新的可能性。該技術目前處於研究階段，尚未明確商業化定價，但其在提升開發效率和代碼質量方面具有顯著潛力。

MLGym是由Meta的GenAI團隊和UCSB NLP團隊開發的一個開源框架和基準，用於訓練和評估AI研究代理。它通過提供多樣化的AI研究任務，推動強化學習算法的發展，幫助研究人員在真實世界的研究場景中訓練和評估模型。該框架支持多種任務，包括計算機視覺、自然語言處理和強化學習等領域，旨在為AI研究提供一個標準化的測試平臺。

VLM-R1 是一種基於強化學習的視覺語言模型，專注於視覺理解任務，如指代表達理解（Referring Expression Comprehension, REC）。該模型通過結合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在領域內和領域外數據上的出色性能。VLM-R1 的主要優點包括其穩定性和泛化能力，使其能夠在多種視覺語言任務中表現出色。該模型基於 Qwen2.5-VL 構建，利用了先進的深度學習技術，如閃存注意力機制（Flash Attention 2），以提高計算效率。VLM-R1 旨在為視覺語言任務提供一種高效且可靠的解決方案，適用於需要精確視覺理解的應用場景。

NovaSky 是一個專注於提升代碼生成和推理模型性能的人工智能技術平臺。它通過創新的測試時擴展技術（如 S*）、強化學習蒸餾推理等技術，顯著提升了非推理模型的性能，使其在代碼生成領域表現出色。該平臺致力於為開發者提供高效、低成本的模型訓練和優化解決方案，幫助他們在編程任務中實現更高的效率和準確性。NovaSky 的技術背景源於 Sky Computing Lab @ Berkeley，具有強大的學術支持和前沿的技術研究基礎。目前，NovaSky 提供多種模型優化方法，包括但不限於推理成本優化和模型蒸餾技術，滿足不同開發者的需求。

AlphaMaze 是一款專為解決視覺推理任務而設計的解碼器語言模型。它通過針對迷宮解謎任務的訓練，展示了語言模型在視覺推理方面的潛力。該模型基於 15 億參數的 Qwen 模型構建，並通過監督微調（SFT）和強化學習（RL）進行訓練。其主要優點在於能夠將視覺任務轉化為文本格式進行推理，從而彌補傳統語言模型在空間理解上的不足。該模型的開發背景是提升 AI 在視覺任務上的表現，尤其是在需要逐步推理的場景中。目前，AlphaMaze 作為研究項目，暫未明確其商業化定價和市場定位。

HOMIE 是一種創新的人形機器人遙操作解決方案，旨在通過強化學習和低成本的外骨骼硬件系統，實現精準的行走與操作任務。該技術的重要性在於它解決了傳統遙操作系統的低效性和不穩定性問題，通過人體運動捕捉和強化學習訓練框架，使機器人能夠更加自然地執行復雜的任務。其主要優點包括高效的任務完成能力、無需複雜的運動捕捉設備以及快速的訓練時間。該產品主要面向機器人研究機構、製造業和物流行業，價格未明確公開，但其硬件系統成本較低，具有較高的性價比。

DeepScaleR-1.5B-Preview 是一個經過強化學習優化的大型語言模型，專注於提升數學問題解決能力。該模型通過分佈式強化學習算法，顯著提高了在長文本推理場景下的準確率。其主要優點包括高效的訓練策略、顯著的性能提升以及開源的靈活性。該模型由加州大學伯克利分校的 Sky Computing Lab 和 Berkeley AI Research 團隊開發，旨在推動人工智能在教育領域的應用，尤其是在數學教育和競賽數學領域。模型採用 MIT 開源許可，完全免費供研究人員和開發者使用。

R1-V是一個專注於強化視覺語言模型（VLM）泛化能力的項目。它通過可驗證獎勵的強化學習（RLVR）技術，顯著提升了VLM在視覺計數任務中的泛化能力，尤其是在分佈外（OOD）測試中表現出色。該技術的重要性在於，它能夠在極低的成本下（僅需2.62美元的訓練成本），實現對大規模模型的高效優化，為視覺語言模型的實用化提供了新的思路。項目背景基於對現有VLM訓練方法的改進，目標是通過創新的訓練策略，提升模型在複雜視覺任務中的表現。R1-V的開源性質也使其成為研究者和開發者探索和應用先進VLM技術的重要資源。

Tülu 3 405B 是由 Allen Institute for AI 開發的開源語言模型，具有 4050 億參數。該模型通過創新的強化學習框架（RLVR）提升性能，尤其在數學和指令跟隨任務中表現出色。它基於 Llama-405B 模型進行優化，採用監督微調、偏好優化等技術。Tülu 3 405B 的開源性質使其成為研究和開發領域的強大工具，適用於需要高性能語言模型的各種應用場景。

Computer-Using Agent (CUA) 是 OpenAI 開發的一種先進的人工智能模型，結合了 GPT-4o 的視覺能力和通過強化學習的高級推理能力。它能夠像人類一樣與圖形用戶界面（GUI）交互，無需依賴特定操作系統的 API 或網絡接口。CUA 的靈活性使其能夠在多種數字環境中執行任務，如填寫表單、瀏覽網頁等。這一技術的出現標誌著 AI 發展的下一步，為 AI 在日常工具中的應用開闢了新的可能性。CUA 目前處於研究預覽階段，通過 Operator 提供給美國的 Pro 用戶使用。

DeepSeek-R1-Distill-Qwen-1.5B 是由 DeepSeek 團隊開發的開源語言模型，基於 Qwen2.5 系列進行蒸餾優化。該模型通過大規模強化學習和數據蒸餾技術，顯著提升了推理能力和性能，同時保持了較小的模型體積。它在多項基準測試中表現出色，尤其在數學、代碼生成和推理任務中具有顯著優勢。該模型支持商業使用，並允許用戶進行修改和衍生作品開發，適合研究機構和企業用於開發高性能的自然語言處理應用。

DeepSeek-R1-Distill-Qwen-7B 是一個經過強化學習優化的推理模型，基於 Qwen-7B 進行了蒸餾優化。它在數學、代碼和推理任務上表現出色，能夠生成高質量的推理鏈和解決方案。該模型通過大規模強化學習和數據蒸餾技術，顯著提升了推理能力和效率，適用於需要複雜推理和邏輯分析的場景。

DeepSeek-R1-Distill-Llama-8B 是 DeepSeek 團隊開發的高性能語言模型，基於 Llama 架構並經過強化學習和蒸餾優化。該模型在推理、代碼生成和多語言任務中表現出色，是開源社區中首個通過純強化學習提升推理能力的模型。它支持商業使用，允許修改和衍生作品，適合學術研究和企業應用。

DeepSeek-R1-Distill-Qwen-14B 是 DeepSeek 團隊開發的一款基於 Qwen-14B 的蒸餾模型，專注於推理和文本生成任務。該模型通過大規模強化學習和數據蒸餾技術，顯著提升了推理能力和生成質量，同時降低了計算資源需求。其主要優點包括高性能、低資源消耗和廣泛的適用性，適用於需要高效推理和文本生成的場景。

DeepSeek-R1-Distill-Qwen-32B 是由 DeepSeek 團隊開發的高性能語言模型，基於 Qwen-2.5 系列進行蒸餾優化。該模型在多項基準測試中表現出色，尤其是在數學、代碼和推理任務上。其主要優點包括高效的推理能力、強大的多語言支持以及開源特性，便於研究人員和開發者進行二次開發和應用。該模型適用於需要高性能文本生成的場景，如智能客服、內容創作和代碼輔助等，具有廣泛的應用前景。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 團隊開發的一款大型語言模型，基於 Llama-70B 架構並通過強化學習進行優化。該模型在推理、對話和多語言任務中表現出色，支持多種應用場景，包括代碼生成、數學推理和自然語言處理。其主要優點是高效的推理能力和對複雜問題的解決能力，同時支持開源和商業使用。該模型適用於需要高性能語言生成和推理能力的企業和研究機構。

PaSa 是由字節跳動開發的一種先進學術論文搜索代理，基於大語言模型（LLM）技術，能夠自主調用搜索工具、閱讀論文並篩選相關參考文獻，以獲取複雜學術查詢的全面準確結果。該技術通過強化學習優化，使用合成數據集 AutoScholarQuery 進行訓練，並在真實世界查詢數據集 RealScholarQuery 上表現出色，顯著優於傳統搜索引擎和基於 GPT 的方法。PaSa 的主要優勢在於其高召回率和精準率，能夠為研究人員提供更高效的學術搜索體驗。

Kimi k1.5 是由 MoonshotAI 開發的多模態語言模型，通過強化學習和長上下文擴展技術，顯著提升了模型在複雜推理任務中的表現。該模型在多個基準測試中達到了行業領先水平，例如在 AIME 和 MATH-500 等數學推理任務中超越了 GPT-4o 和 Claude Sonnet 3.5。其主要優點包括高效的訓練框架、強大的多模態推理能力以及對長上下文的支持。Kimi k1.5 主要面向需要複雜推理和邏輯分析的應用場景，如編程輔助、數學解題和代碼生成等。

DeepSeek-R1-Zero 是由 DeepSeek 團隊開發的推理模型，專注於通過強化學習提升模型的推理能力。該模型在無需監督微調的情況下，展現出強大的推理行為，如自我驗證、反思和生成長鏈推理。其主要優點包括高效推理能力、無需預訓練即可使用，以及在數學、代碼和推理任務上的卓越表現。該模型基於 DeepSeek-V3 架構開發，支持大規模推理任務，適用於研究和商業應用。

DeepSeek-R1 是 DeepSeek 團隊推出的第一代推理模型，通過大規模強化學習訓練，無需監督微調即可展現出卓越的推理能力。該模型在數學、代碼和推理任務上表現優異，與 OpenAI-o1 模型相當。DeepSeek-R1 還提供了多種蒸餾模型，適用於不同規模和性能需求的場景。其開源特性為研究社區提供了強大的工具，支持商業使用和二次開發。