# 变换器架构

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

Aya Expanse是一个具有高级多语言能力的开放权重研究模型。它专注于将高性能的预训练模型与Cohere For AI一年的研究成果相结合，包括数据套利、多语言偏好训练、安全调整和模型合并。该模型是一个强大的多语言大型语言模型，服务于23种语言，包括阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。

Janus是一个创新的自回归框架，它通过分离视觉编码来实现多模态理解和生成的统一。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus超越了以往的统一模型，并与特定任务的模型性能相匹配或超越。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

Janus是一个创新的自回归框架，通过将视觉编码分离成不同的路径，同时利用单一的、统一的变换器架构进行处理，解决了以往方法的局限性。这种解耦不仅减轻了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus的性能超越了以往的统一模型，并且达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选。

Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型，它通过简单的变换器架构和流式内存设计，实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎，收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练，提供了在广泛任务和视觉领域中的强大性能。