# 視覺-語言模型

Helix 是一款創新的視覺-語言-行動模型，專為人形機器人的通用控制而設計。它通過將視覺感知、語言理解和動作控制相結合，解決了機器人在複雜環境中的多項長期挑戰。Helix 的主要優點包括強大的泛化能力、高效的數據利用以及無需任務特定微調的單一神經網絡架構。該模型旨在為家庭環境中的機器人提供即時行為生成能力，使其能夠處理從未見過的物品。Helix 的出現標誌著機器人技術在適應日常生活場景方面邁出了重要一步。

PaliGemma 2是由Google開發的視覺-語言模型，它結合了SigLIP視覺模型和Gemma 2語言模型的能力，能夠處理圖像和文本輸入，並生成相應的文本輸出。該模型在多種視覺-語言任務上表現出色，如圖像描述、視覺問答等。其主要優點包括強大的多語言支持、高效的訓練架構以及在多種任務上的優異性能。PaliGemma 2的開發背景是為了解決視覺和語言之間的複雜交互問題，幫助研究人員和開發者在相關領域取得突破。

PaliGemma 2是一個由Google開發的視覺-語言模型，繼承了Gemma 2模型的能力，能夠處理圖像和文本輸入並生成文本輸出。該模型在多種視覺語言任務上表現出色，如圖像描述、視覺問答等。其主要優點包括強大的多語言支持、高效的訓練架構和廣泛的適用性。該模型適用於需要處理視覺和文本數據的各種應用場景，如社交媒體內容生成、智能客服等。

ROCKET-1是一個視覺-語言模型(VLMs)，專門針對開放世界環境中的具身決策制定而設計。該模型通過視覺-時間上下文提示協議，將VLMs與策略模型之間的通信連接起來，利用來自過去和當前觀察的對象分割來指導策略-環境交互。ROCKET-1通過這種方式，能夠解鎖VLMs的視覺-語言推理能力，使其能夠解決複雜的創造性任務，尤其是在空間理解方面。ROCKET-1在Minecraft中的實驗表明，該方法使代理能夠完成以前無法實現的任務，突出了視覺-時間上下文提示在具身決策制定中的有效性。

Helpful DoggyBot是一個四足機器人室內移動操作系統，它通過前端夾持裝置進行物體操作，使用在模擬環境中訓練的低級控制器實現敏捷技能，如攀爬和全身傾斜。此外，它還結合了預訓練的視覺-語言模型（VLMs）進行語義理解和命令生成。該系統在沒有實際數據收集或訓練的情況下，能在未見過的環境中零樣本泛化完成任務，如按照用戶的指令在攀爬過後的床邊取回隨機放置的玩具，成功率達到60%。

Florence-2是由微軟開發的高級視覺基礎模型，採用基於提示的方法處理廣泛的視覺和視覺-語言任務。該模型能夠解釋簡單的文本提示，執行諸如圖像描述、目標檢測和分割等任務。它利用FLD-5B數據集，包含54億個註釋，覆蓋1.26億張圖像，精通多任務學習。其序列到序列的架構使其在零樣本和微調設置中均表現出色，證明是一個有競爭力的視覺基礎模型。

PixelProse是一個由tomg-group-umd創建的大規模數據集，它利用先進的視覺-語言模型Gemini 1.0 Pro Vision生成了超過1600萬個詳細的圖像描述。這個數據集對於開發和改進圖像到文本的轉換技術具有重要意義，可以用於圖像描述生成、視覺問答等任務。

EVE是一個編碼器自由的視覺-語言模型，由大連理工大學、北京人工智能研究院和北京大學的研究人員共同開發。它在不同圖像寬高比下展現出卓越的能力，性能超越了Fuyu-8B，並且接近模塊化編碼器基礎的LVLMs。EVE在數據效率、訓練效率方面表現突出，使用33M公開數據進行預訓練，並利用665K LLaVA SFT數據為EVE-7B模型訓練，以及額外的1.2M SFT數據為EVE-7B (HD)模型訓練。EVE的開發採用了高效、透明、實用的策略，為跨模態的純解碼器架構開闢了新途徑。

RL4VLM是一個開源項目，旨在通過強化學習微調大型視覺-語言模型，使其成為能夠做出決策的智能代理。該項目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人員共同開發。它基於LLaVA模型，並採用了PPO算法進行強化學習微調。RL4VLM項目提供了詳細的代碼庫結構、入門指南、許可證信息以及如何引用該研究的說明。