# 视觉-语言模型

Helix 是一款创新的视觉-语言-行动模型，专为人形机器人的通用控制而设计。它通过将视觉感知、语言理解和动作控制相结合，解决了机器人在复杂环境中的多项长期挑战。Helix 的主要优点包括强大的泛化能力、高效的数据利用以及无需任务特定微调的单一神经网络架构。该模型旨在为家庭环境中的机器人提供即时行为生成能力，使其能够处理从未见过的物品。Helix 的出现标志着机器人技术在适应日常生活场景方面迈出了重要一步。

PaliGemma 2是由Google开发的视觉-语言模型，它结合了SigLIP视觉模型和Gemma 2语言模型的能力，能够处理图像和文本输入，并生成相应的文本输出。该模型在多种视觉-语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构以及在多种任务上的优异性能。PaliGemma 2的开发背景是为了解决视觉和语言之间的复杂交互问题，帮助研究人员和开发者在相关领域取得突破。

PaliGemma 2是一个由Google开发的视觉-语言模型，继承了Gemma 2模型的能力，能够处理图像和文本输入并生成文本输出。该模型在多种视觉语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构和广泛的适用性。该模型适用于需要处理视觉和文本数据的各种应用场景，如社交媒体内容生成、智能客服等。

ROCKET-1是一个视觉-语言模型(VLMs)，专门针对开放世界环境中的具身决策制定而设计。该模型通过视觉-时间上下文提示协议，将VLMs与策略模型之间的通信连接起来，利用来自过去和当前观察的对象分割来指导策略-环境交互。ROCKET-1通过这种方式，能够解锁VLMs的视觉-语言推理能力，使其能够解决复杂的创造性任务，尤其是在空间理解方面。ROCKET-1在Minecraft中的实验表明，该方法使代理能够完成以前无法实现的任务，突出了视觉-时间上下文提示在具身决策制定中的有效性。

Helpful DoggyBot是一个四足机器人室内移动操作系统，它通过前端夹持装置进行物体操作，使用在模拟环境中训练的低级控制器实现敏捷技能，如攀爬和全身倾斜。此外，它还结合了预训练的视觉-语言模型（VLMs）进行语义理解和命令生成。该系统在没有实际数据收集或训练的情况下，能在未见过的环境中零样本泛化完成任务，如按照用户的指令在攀爬过后的床边取回随机放置的玩具，成功率达到60%。

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

PixelProse是一个由tomg-group-umd创建的大规模数据集，它利用先进的视觉-语言模型Gemini 1.0 Pro Vision生成了超过1600万个详细的图像描述。这个数据集对于开发和改进图像到文本的转换技术具有重要意义，可以用于图像描述生成、视觉问答等任务。

EVE是一个编码器自由的视觉-语言模型，由大连理工大学、北京人工智能研究院和北京大学的研究人员共同开发。它在不同图像宽高比下展现出卓越的能力，性能超越了Fuyu-8B，并且接近模块化编码器基础的LVLMs。EVE在数据效率、训练效率方面表现突出，使用33M公开数据进行预训练，并利用665K LLaVA SFT数据为EVE-7B模型训练，以及额外的1.2M SFT数据为EVE-7B (HD)模型训练。EVE的开发采用了高效、透明、实用的策略，为跨模态的纯解码器架构开辟了新途径。

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。