# 模型微調

FastApply-7B-v1.0 是一個專為代碼編輯任務設計的大型語言模型。它基於 Qwen2.5 Coder 架構，經過微調以實現快速、準確的代碼修改功能。該模型能夠快速生成完整的文件編輯，支持即時代碼應用任務，特別適合集成到 AI 驅動的代碼編輯器中。它在部署時表現出高吞吐量和高編輯準確率，速度可達約 150 tokens/second。該模型由 Kortix 開發，採用 Apache-2.0 許可證，旨在通過快速應用流程為數據生成和模型微調提供支持。

RAG-FiT是一個強大的工具，旨在通過檢索增強生成（RAG）技術提升大型語言模型（LLMs）的能力。它通過創建專門的RAG增強數據集，幫助模型更好地利用外部信息。該庫支持從數據準備到模型訓練、推理和評估的全流程操作。其主要優點包括模塊化設計、可定製化工作流以及對多種RAG配置的支持。RAG-FiT基於開源許可，適合研究人員和開發者進行快速原型開發和實驗。

PaliGemma 2是一個由Google開發的視覺-語言模型，繼承了Gemma 2模型的能力，能夠處理圖像和文本輸入並生成文本輸出。該模型在多種視覺語言任務上表現出色，如圖像描述、視覺問答等。其主要優點包括強大的多語言支持、高效的訓練架構和廣泛的適用性。該模型適用於需要處理視覺和文本數據的各種應用場景，如社交媒體內容生成、智能客服等。

Bakery是一個專注於開源AI模型的微調與變現的在線平臺，為AI初創企業、機器學習工程師和研究人員提供了一個便捷的工具，使他們能夠輕鬆地對AI模型進行微調，並在市場中進行變現。該平臺的主要優點在於其簡單易用的界面和強大的功能，用戶可以快速創建或上傳數據集，微調模型設置，並在市場中進行變現。Bakery的背景信息表明，它旨在推動開源AI技術的發展，併為開發者提供更多的商業機會。雖然具體的定價信息未在頁面中明確展示，但其定位是為AI領域的專業人士提供一個高效的工具。

Bespoke Labs專注於提供高質量的定製化數據集服務，以支持工程師進行精確的模型微調。公司由Google DeepMind的前員工Mahesh和UT Austin的Alex共同創立，旨在改善高質量數據的獲取，這對於推動領域發展至關重要。Bespoke Labs提供的工具和平臺，如Minicheck、Evalchemy和Curator，都是圍繞數據集的創建和管理設計的，以提高數據的質量和模型的性能。

ReFT是一個開源的研究項目，旨在通過深度強化學習技術對大型語言模型進行微調，以提高其在特定任務上的表現。該項目提供了詳細的代碼和數據，以便研究人員和開發者能夠復現論文中的結果。ReFT的主要優點包括能夠利用強化學習自動調整模型參數，以及通過微調提高模型在特定任務上的性能。產品背景信息顯示，ReFT基於Codellama和Galactica模型，遵循Apache2.0許可證。

智譜清流AI開放平臺是一個企業級AI智能體開發平臺，利用智譜大模型技術，幫助企業快速構建專業級智能體，實現大模型到業務場景的快速應用。平臺提供模型服務、智能體構建、數據安全、效果評測和系統集成等功能，支持企業通過內網部署和本地存儲保護數據，確保數據安全和知識產權。智譜AI開放平臺以其領先的技術、靈活的工作流編排、自主調用企業定義的數據知識和工具，以及成熟的AI原生應用落地經驗，成為企業數字化轉型的重要助力。

SFR-Judge 是 Salesforce AI Research 推出的一系列評估模型，旨在通過人工智能技術加速大型語言模型（LLMs）的評估和微調過程。這些模型能夠執行多種評估任務，包括成對比較、單項評分和二元分類，同時提供解釋，避免黑箱問題。SFR-Judge 在多個基準測試中表現優異，證明了其在評估模型輸出和指導微調方面的有效性。

diffusion-e2e-ft是一個開源的圖像條件擴散模型微調工具，它通過微調預訓練的擴散模型來提高特定任務的性能。該工具支持多種模型和任務，如深度估計和法線估計，並提供了詳細的使用說明和模型檢查點。它在圖像處理和計算機視覺領域具有重要應用，能夠顯著提升模型在特定任務上的準確性和效率。

Prem是一個加速個性化LLM（小型語言模型）發展的人工智能平臺。它提供了一個直觀易用的開發平臺，用於構建生成式AI解決方案。Prem還提供了定製化的模型微調和訓練服務，以滿足獨特的業務需求。通過Prem，用戶可以獲得對AI的最大潛力的掌控和所有權，而無需深入的專業知識。

Llama中文社區是一個專注於Llama模型在中文方面的優化和上層建設的技術社區。社區提供基於大規模中文數據的預訓練模型，並對Llama2和Llama3模型進行持續的中文能力迭代升級。社區擁有高級工程師團隊支持，豐富的社區活動，以及開放共享的合作環境，旨在推動中文自然語言處理技術的發展。

XTuner是一個為大型模型（如InternLM, Llama, Baichuan, Qwen, ChatGLM）設計的高效、靈活且功能齊全的微調工具包。它支持在幾乎所有GPU上進行LLM和VLM的預訓練和微調，能夠自動調度高性能操作，如FlashAttention和Triton內核，以提高訓練吞吐量。XTuner與DeepSpeed兼容，支持多種ZeRO優化技術。它還支持各種LLMs和VLM（如LLaVA），並設計了良好的數據管道，能夠適應任何格式的數據集。此外，XTuner支持多種訓練算法，包括QLoRA、LoRA和全參數微調，使用戶能夠選擇最適合其需求的解決方案。

MindEye2項目展示瞭如何僅用1小時的fMRI數據，在多個受試者上預訓練模型後，在新受試者上進行微調，以實現視覺感知重建。

Cappy是一種新型方法,旨在提高大型多任務語言模型的性能和效率。它是一個輕量級的預訓練評分器,基於RoBERTa,僅有3.6億個參數。Cappy可獨立解決分類任務,或作為輔助組件提升語言模型性能。在下游任務中微調Cappy,可有效整合監督信息,提高模型表現,且不需要反向傳播到語言模型參數,降低了內存需求。Cappy適用於開源和封閉源代碼的語言模型,是一種高效的模型微調方法。

ALMA-R模型，通過Contrastive Preference Optimization (CPO)進行了進一步的LoRA微調，超越了GPT-4和WMT獲獎者。用戶可以在GitHub倉庫中下載ALMA(-R)模型和數據集。ALMA-R建立在ALMA模型的基礎上，採用了我們提出的Contrastive Preference Optimization (CPO)進行微調，而不是ALMA中使用的Supervised Fine-tuning。CPO微調需要我們的三元組偏好數據進行偏好學習。ALMA-R現在可以匹配甚至超越GPT-4或WMT獲獎者！

LLaVA-3b是一種基於Dolphin 2.6 Phi進行微調的模型，使用SigLIP 400M的視覺塔以LLaVA方式進行微調。模型具有多個圖像標記、使用視覺編碼器的最新層輸出等特點。此模型基於Phi-2，受微軟研究許可證約束，禁止商業使用。感謝ML Collective提供的計算資源積分。

Windows AI Studio通過彙集來自Azure AI Studio和其他目錄（如Hugging Face）的尖端AI開發工具和模型，簡化了生成式AI應用程序的開發。它使開發人員能夠對本地應用程序中使用的最新小語言模型（SLMs）進行微調、定製和部署。它提供端到端的引導式工作區設置，包括模型配置UI和引導式步驟，以微調流行的SLMs（如Phi）和最先進的模型（如Llama 2和Mistral）。