# 泛化能力

智元通用具身基座大模型GO-1是智元推出的一款革命性的人工智能模型。該模型基於創新的Vision-Language-Latent-Action（ViLLA）架構，通過多模態大模型（VLM）和混合專家（MoE）系統，實現了從視覺和語言輸入到機器人動作執行的高效轉換。GO-1能夠利用人類視頻和真實機器人數據進行學習，具備強大的泛化能力，能夠在極少數據甚至零樣本下快速適應新任務和環境。其主要優點包括高效的學習能力、強大的泛化性能以及對多種機器人本體的適配性。該模型的推出標誌著具身智能向通用化、開放化和智能化方向邁出了重要一步，有望在商業、工業和家庭等多個領域發揮重要作用。

R1-V是一個專注於強化視覺語言模型（VLM）泛化能力的項目。它通過可驗證獎勵的強化學習（RLVR）技術，顯著提升了VLM在視覺計數任務中的泛化能力，尤其是在分佈外（OOD）測試中表現出色。該技術的重要性在於，它能夠在極低的成本下（僅需2.62美元的訓練成本），實現對大規模模型的高效優化，為視覺語言模型的實用化提供了新的思路。項目背景基於對現有VLM訓練方法的改進，目標是通過創新的訓練策略，提升模型在複雜視覺任務中的表現。R1-V的開源性質也使其成為研究者和開發者探索和應用先進VLM技術的重要資源。

SAMURAI是一種基於Segment Anything Model 2 (SAM 2)的視覺對象跟蹤模型，專門設計用於處理快速移動或自遮擋對象的視覺跟蹤任務。它通過引入時間運動線索和運動感知記憶選擇機制，有效預測對象運動並優化掩膜選擇，無需重新訓練或微調即可實現魯棒、準確的跟蹤。SAMURAI能夠在即時環境中運行，並在多個基準數據集上展現出強大的零樣本性能，證明了其無需微調即可泛化的能力。在評估中，SAMURAI在成功率和精確度上相較於現有跟蹤器取得了顯著提升，例如在LaSOT-ext上AUC提升了7.1%，在GOT-10k上AO提升了3.5%。此外，與LaSOT上的全監督方法相比，SAMURAI也展現出了競爭力，強調了其在複雜跟蹤場景中的魯棒性以及在動態環境中的潛在實際應用價值。

ManiWAV是一個研究項目，旨在通過野外的音頻和視覺數據學習機器人操控技能。它通過收集人類演示的同步音頻和視覺反饋，並通過相應的策略接口直接從演示中學習機器人操控策略。該模型展示了通過四個接觸豐富的操控任務來證明其系統的能力，這些任務需要機器人被動地感知接觸事件和模式，或主動地感知物體表面的材料和狀態。此外，該系統還能夠通過學習多樣化的野外人類演示來泛化到未見過的野外環境中。

該工具旨在通過對最新專有和開源MLLMs進行定性研究，從文本、代碼、圖像和視頻四個模態的角度，評估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我們相信這些屬性是定義MLLMs可靠性的幾個代表性因素，支持各種下游應用。具體而言，我們評估了閉源的GPT-4和Gemini以及6個開源LLMs和MLLMs。總體上，我們評估了230個手動設計的案例，定性結果總結為12個分數（即4個模態乘以3個屬性）。總共，我們揭示了14個實證發現，有助於瞭解專有和開源MLLMs的能力和侷限性，以更可靠地支持多模態下游應用。

InstructVideo 是一種通過人類反饋用獎勵微調來指導文本到視頻的擴散模型的方法。它通過編輯的方式進行獎勵微調，減少了微調成本，同時提高了微調效率。它使用已建立的圖像獎勵模型，通過分段稀疏採樣和時間衰減獎勵的方式提供獎勵信號，顯著提高了生成視頻的視覺質量。InstructVideo 不僅能夠提高生成視頻的視覺質量，還能保持較強的泛化能力。欲瞭解更多信息，請訪問官方網站。

GLEE 是一個針對圖片和視頻的通用對象基礎模型，通過統一的框架實現了定位和識別圖像和視頻中的對象，並能應用於各種對象感知任務。GLEE 通過聯合訓練來自不同監督水平的各種數據源，形成通用的對象表示，在保持最先進性能的同時，能夠有效地進行零樣本遷移和泛化。它還具備良好的可擴展性和魯棒性。