# 微调

Animagine XL 4.0 是一款基于Stable Diffusion XL 1.0微调的动漫主题生成模型。它使用了840万张多样化的动漫风格图像进行训练，训练时长达到2650小时。该模型专注于通过文本提示生成和修改动漫主题图像，支持多种特殊标签，可控制图像生成的不同方面。其主要优点包括高质量的图像生成、丰富的动漫风格细节以及对特定角色和风格的精准还原。该模型由Cagliostro Research Lab开发，采用CreativeML Open RAIL++-M许可证，允许商业使用和修改。

Flex.1-alpha 是一个强大的文本到图像生成模型，基于80亿参数的修正流变换器架构。它继承了FLUX.1-schnell的特性，并通过训练指导嵌入器，使其无需CFG即可生成图像。该模型支持微调，并且具有开放源代码许可（Apache 2.0），适合在多种推理引擎中使用，如Diffusers和ComfyUI。其主要优点包括高效生成高质量图像、灵活的微调能力和开源社区支持。开发背景是为了解决图像生成模型的压缩和优化问题，并通过持续训练提升模型性能。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

Llama-3.3-70B-Instruct是由Meta开发的一个70亿参数的大型语言模型，专门针对多语言对话场景进行了优化。该模型使用优化的Transformer架构，并通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)来提高其有用性和安全性。它支持多种语言，并能够处理文本生成任务，是自然语言处理领域的一项重要技术。

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

TableGPT2是一个大型多模态模型，专门针对表格数据进行预训练和微调，以解决实际应用中表格数据整合不足的问题。该模型在超过593.8K的表格和2.36M的高质量查询-表格-输出元组上进行了预训练和微调，规模前所未有。TableGPT2的关键创新之一是其新颖的表格编码器，专门设计用于捕获模式级别和单元格级别的信息，增强了模型处理模糊查询、缺失列名和不规则表格的能力。在23个基准测试指标上，TableGPT2在7B模型上平均性能提升了35.20%，在72B模型上提升了49.32%，同时保持了强大的通用语言和编码能力。

AutoArena是一个自动化的生成式AI评估平台，专注于评估大型语言模型（LLMs）、检索增强生成（RAG）系统和生成式AI应用。它通过自动化的头对头判断来提供可信的评估，帮助用户快速、准确、经济地找到系统的最佳版本。该平台支持使用来自不同供应商的判断模型，如OpenAI、Anthropic等，也可以使用本地运行的开源权重判断模型。AutoArena还提供了Elo评分和置信区间计算，帮助用户将多次头对头投票转化为排行榜排名。此外，AutoArena支持自定义判断模型的微调，以实现更准确、特定领域的评估，并可以集成到持续集成（CI）流程中，以自动化评估生成式AI系统。

OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本，移除了蒸馏过程，使其可以进行微调，并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像，并且只需1-4步即可完成。它是一个尝试去除蒸馏过程，创建一个可以微调的开源许可模型。

Llama-3.2-1B是由Meta公司发布的多语言大型语言模型，专注于文本生成任务。该模型使用优化的Transformer架构，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）进行调优，以符合人类对有用性和安全性的偏好。该模型支持8种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语，并在多种对话使用案例中表现优异。

Phi-3.5-mini-instruct 是微软基于高质量数据构建的轻量级、多语言的先进文本生成模型。它专注于提供高质量的推理密集型数据，支持128K的token上下文长度，经过严格的增强过程，包括监督式微调、近端策略优化和直接偏好优化，确保精确的指令遵循和强大的安全措施。

RAGFoundry是一个库，旨在通过在特别创建的RAG增强数据集上微调模型，提高大型语言模型（LLMs）使用外部信息的能力。该库通过参数高效微调（PEFT）帮助用户轻松训练模型，并使用RAG特定指标衡量性能提升。它具有模块化设计，工作流程可通过配置文件自定义。

Finetune是一个面向开发者的AI智能代理微调平台，它通过创建反映客户特征的合成用户，让开发者的智能代理在模拟环境中进行测试和学习。平台提供会话报告和加权执行图，帮助开发者了解代理的性能并进行优化。此外，Finetune支持多种流行的AI模型和框架，使得集成和部署过程更加便捷。

Mastering LLMs 是一个由25多位行业资深人士主讲的免费课程，涵盖了评估、检索增强生成（RAG）、微调等主题。课程内容由信息检索、机器学习、推荐系统、MLOps和数据科学等领域的专家提供，旨在将这些领域的先前技术应用于LLMs，为用户提供有意义的优势。课程面向需要指导如何改进AI产品的技术IC（包括工程师和数据科学家）。

lmms-finetune是一个统一的代码库，旨在简化大型多模态模型（LMMs）的微调过程。它提供了一个结构化的框架，允许用户轻松集成最新的LMMs并进行微调，支持全微调和lora等策略。代码库设计简单轻量，易于理解和修改，支持包括LLaVA-1.5、Phi-3-Vision、Qwen-VL-Chat、LLaVA-NeXT-Interleave和LLaVA-NeXT-Video等多种模型。

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

Meta Llama 3.1是Meta公司推出的大型语言模型，拥有70亿个参数，支持8种语言的文本生成。该模型采用优化的Transformer架构，并通过监督式微调和人类反馈强化学习进一步优化，以符合人类对帮助性和安全性的偏好。模型在多语言对话使用案例中表现优异，超越了许多现有的开源和封闭聊天模型。

Llama-3-70B-Tool-Use是一种70B参数量的大型语言模型，专为高级工具使用和功能调用任务设计。该模型在Berkeley功能调用排行榜（BFCL）上的总体准确率达到90.76%，表现优于所有开源的70B语言模型。该模型优化了变换器架构，并通过完整的微调和直接偏好优化（DPO）在Llama 3 70B基础模型上进行了训练。输入为文本，输出为文本，增强了工具使用和功能调用的能力。尽管其主要用途是工具使用和功能调用，但在一般知识或开放式任务中，可能更适用通用语言模型。该模型可能在某些情况下产生不准确或有偏见的内容，用户应注意实现适合其特定用例的适当安全措施。该模型对温度和top_p采样配置非常敏感。

AMchat是一个集成了数学知识和高等数学习题及其解答的大语言模型。它基于InternLM2-Math-7B模型，通过xtuner微调，专门设计用于解答高等数学问题。该项目在2024浦源大模型系列挑战赛（春季赛）中获得Top12和创新创意奖，体现了其在高等数学领域的专业能力和创新性。

EmoLLM是一个心理健康大模型，由LLM指令微调而来，旨在全面理解和促进个体、群体乃至整个社会的心理健康状态。它包含认知因素、情感因素、行为因素、社会环境、生理健康、心理韧性、预防和干预措施、评估和诊断工具等多个关键组成部分。EmoLLM通过微调配置，能够在心理咨询任务上提供支持，帮助用户更好地理解和应对心理问题。

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

OpenVLA是一个具有7亿参数的开源视觉-语言-动作（VLA）模型，通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准，支持开箱即用控制多个机器人，并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源，模型可以从HuggingFace下载并进行微调。

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

AIKit 是一个开源工具，旨在简化大型语言模型（LLMs）的托管、部署、构建和微调过程。它提供了与OpenAI API兼容的REST API，支持多种推理能力和格式，使用户可以使用任何兼容的客户端发送请求。此外，AIKit 还提供了一个可扩展的微调接口，支持Unsloth，为用户提供快速、内存高效且易于使用的微调体验。

mistral-finetune是一个轻量级的代码库，它基于LoRA训练范式，允许在冻结大部分权重的情况下，只训练1-2%的额外权重，以低秩矩阵微扰的形式进行微调。它被优化用于多GPU单节点训练设置，对于较小模型，例如7B模型，单个GPU就足够了。该代码库旨在提供简单、有指导意义的微调入口，特别是在数据格式化方面，并不旨在涵盖多种模型架构或硬件类型。

Llama-3[8B] Meditron V1.0是一款专为生物医学领域设计的8亿参数的大型语言模型（LLM），在Meta发布Llama-3后24小时内完成微调。该模型在MedQA和MedMCQA等标准基准测试中超越了同参数级别的所有现有开放模型，并且接近70B参数级别医学领域领先的开放模型Llama-2[70B]-Meditron的性能。该工作展示了开放基础模型的创新潜力，是确保资源匮乏地区公平参与访问该技术更大倡议的一部分。

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

ASPIRE是一个设计精良的框架,用于增强大型语言模型的选择性预测能力。它通过参数高效的微调训练LLM进行自我评估,使其能够针对生成的答案输出置信度分数。实验结果表明,ASPIRE在各种问答数据集上明显优于目前的选择性预测方法。

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。

Windows AI Studio 通过将来自 Azure AI Studio Catalog 和 Hugging Face 等目录的先进 AI 开发工具和模型集合在一起，简化了生成式 AI 应用程序的开发。您可以浏览由 Azure ML 和 Hugging Face 提供支持的 AI 模型目录，将其下载到本地，进行微调、测试并在 Windows 应用程序中使用。所有计算都在本地进行，请确保您的设备能够承受负载。未来，我们计划将 ORT/DML 集成到 Windows AI Studio 工作流中，以便开发人员可以在任何 Windows 硬件上运行 AI 模型。