# 模型優化

ZeroSearch 是一種新穎的強化學習框架，旨在激勵大型語言模型（LLMs）的搜索能力，而無需與實際搜索引擎進行交互。通過監督微調，ZeroSearch 轉變 LLM 為能夠生成相關和無關文檔的檢索模塊，並引入課程推出機制來逐步激發模型的推理能力。該技術的主要優點在於其性能優於基於真實搜索引擎的模型，同時產生的 API 成本為零。它適用於各種規模的 LLM，並支持不同的強化學習算法，適合需要高效檢索能力的研究和開發團隊。

該模型通過強化學習和高質量推理軌跡的掩蔽自監督微調，實現了對擴散大語言模型的推理能力的提升。此技術的重要性在於它能夠優化模型的推理過程，減少計算成本，同時保證學習動態的穩定性。適合希望在寫作和推理任務中提升效率的用戶。

Pruna 是一個為開發者設計的模型優化框架，通過一系列壓縮算法，如量化、修剪和編譯等技術，使得機器學習模型在推理時更快、體積更小且計算成本更低。產品適用於多種模型類型，包括 LLMs、視覺轉換器等，且支持 Linux、MacOS 和 Windows 等多個平臺。Pruna 還提供了企業版 Pruna Pro，解鎖更多高級優化功能和優先支持，助力用戶在實際應用中提高效率。

Synexa AI 是一個專注於簡化AI模型部署的平臺，通過一行代碼即可實現模型的快速上線。其主要優點包括極簡的部署流程、強大的自動擴展能力、高性價比的GPU資源以及優化的推理引擎，能夠顯著提升開發效率並降低運行成本。該平臺適用於需要快速部署和高效運行AI模型的企業和開發者，提供了一個穩定、高效且經濟的解決方案，幫助用戶在AI領域快速實現價值。

Moonlight是基於Muon優化器訓練的16B參數混合專家模型（MoE），在大規模訓練中表現出色。它通過添加權重衰減和調整參數更新比例，顯著提高了訓練效率和穩定性。該模型在多項基準測試中超越了現有模型，同時大幅減少了訓練所需的計算量。Moonlight的開源實現和預訓練模型為研究人員和開發者提供了強大的工具，支持多種自然語言處理任務，如文本生成、代碼生成等。

1.58-bit FLUX是一種先進的文本到圖像生成模型，通過使用1.58位權重（即{-1, 0, +1}中的值）來量化FLUX.1-dev模型，同時保持生成1024x1024圖像的可比性能。該方法無需訪問圖像數據，完全依賴於FLUX.1-dev模型的自監督。此外，開發了一種定製的內核，優化了1.58位操作，實現了模型存儲減少7.7倍，推理內存減少5.1倍，並改善了推理延遲。在GenEval和T2I Compbench基準測試中的廣泛評估表明，1.58-bit FLUX在保持生成質量的同時顯著提高了計算效率。

Neural Magic是一家專注於AI模型優化和部署的公司，提供領先的企業級推理解決方案，以最大化性能和提高硬件效率。公司的產品支持在GPU和CPU基礎設施上運行領先的開源大型語言模型（LLMs），幫助企業在雲、私有數據中心或邊緣環境中安全、高效地部署AI模型。Neural Magic的產品背景信息強調了其在機器學習模型優化方面的專業知識，以及與科研機構合作開發的創新LLM壓縮技術，如GPTQ和SparseGPT。產品價格和定位方面，Neural Magic提供了免費試用和付費服務，旨在幫助企業降低成本、提高效率，並保持數據隱私和安全。

torchao是PyTorch的一個庫，專注於自定義數據類型和優化，支持量化和稀疏化權重、梯度、優化器和激活函數，用於推理和訓練。它與torch.compile()和FSDP2兼容，能夠為大多數PyTorch模型提供加速。torchao旨在通過量化感知訓練（QAT）和後訓練量化（PTQ）等技術，提高模型的推理速度和內存效率，同時儘量減小精度損失。

Future AGI是一個自動化AI模型評估平臺，通過自動評分AI模型輸出，消除了手動QA評估的需求，使QA團隊能夠專注於更戰略性的任務，提高效率和帶寬高達10倍。該平臺使用自然語言定義對業務最重要的指標，提供增強的靈活性和控制力，以評估模型性能，確保與業務目標的一致性。它還通過整合性能數據和用戶反饋到開發過程中，創建了一個持續改進的循環，使AI在每次互動中變得更智能。

ComfyUI-GGUF是一個為ComfyUI原生模型提供GGUF量化支持的項目。它允許模型文件以GGUF格式存儲，這種格式由llama.cpp推廣。儘管常規的UNET模型（conv2d）不適用於量化，但像flux這樣的transformer/DiT模型似乎受量化影響較小。這使得它們可以在低端GPU上以更低的每權重變量比特率進行運行。

Mistral NeMo 是由 Mistral AI 與 NVIDIA 合作構建的 12B 模型，具有 128k 個令牌的大型上下文窗口。它在推理、世界知識和編碼準確性方面處於領先地位。該模型專為全球多語言應用程序設計，支持英語、法語、德語、西班牙語、意大利語、葡萄牙語、中文、日語、韓語、阿拉伯語和印地語等多種語言。Mistral NeMo 還使用了新的分詞器 Tekken，提高了文本和源代碼的壓縮效率。此外，該模型經過指令微調，提升了遵循精確指令、推理、處理多輪對話和生成代碼的能力。

mistral-finetune是一個輕量級的代碼庫，它基於LoRA訓練範式，允許在凍結大部分權重的情況下，只訓練1-2%的額外權重，以低秩矩陣微擾的形式進行微調。它被優化用於多GPU單節點訓練設置，對於較小模型，例如7B模型，單個GPU就足夠了。該代碼庫旨在提供簡單、有指導意義的微調入口，特別是在數據格式化方面，並不旨在涵蓋多種模型架構或硬件類型。

Model Explorer 是 Google 開發的一個用於機器學習模型的圖可視化工具，它專注於以直觀的層次格式可視化大型圖，同時也適用於小型模型。該工具特別有助於簡化大型模型在設備端平臺的部署過程，通過可視化轉換、量化和優化數據。Model Explorer 結合了3D遊戲和動畫製作中使用的圖形技術，如實例化渲染和多通道有符號距離場（MSDF），並將其適應於機器學習圖渲染。它支持多種圖格式，包括 JAX、PyTorch、TensorFlow 和 TensorFlow Lite 使用的格式。Model Explorer 通過層次化視圖和導航複雜結構的能力，使得大型模型更易於理解。

Gemma 2是下一代谷歌Gemma模型，擁有27億參數，提供與Llama 3 70B相當的性能，但模型大小僅為其一半。它在NVIDIA的GPU上運行優化，或在Vertex AI上的單個TPU主機上高效運行，降低了部署成本，使更廣泛的用戶能夠訪問和使用。Gemma 2還提供了強大的調優工具鏈，支持雲解決方案和社區工具，如Google Cloud和Axolotl，以及與Hugging Face和NVIDIA TensorRT-LLM的無縫合作夥伴集成。

Depth Anything是一個高度實用的解決方案，用於穩健的單目深度估計。我們旨在構建一個簡單而強大的基礎模型，處理任何情況下的任何圖像，而不追求新穎的技術模塊。為此，我們通過設計數據引擎來擴大數據集，收集並自動註釋大規模未標記數據（約62M），從而顯著擴大數據覆蓋範圍，從而能夠減少泛化誤差。我們研究了兩種簡單而有效的策略，使數據擴展變得有前途。首先，通過利用數據增強工具創建更具挑戰性的優化目標。它迫使模型積極尋求額外的視覺知識並獲得強大的表示。其次，開發了輔助監督，以強制模型從預訓練編碼器中繼承豐富的語義先驗。我們對其零-shot能力進行了廣泛評估，包括六個公共數據集和隨機拍攝的照片。它展現出令人印象深刻的泛化能力。此外，通過使用來自NYUv2和KITTI的度量深度信息對其進行微調，我們建立了新的SOTAs。我們更好的深度模型也導致更好的深度條件ControlNet。我們的模型發佈在https://github.com/LiheYoung/Depth-Anything。

去噪視覺變換器（Denoising Vision Transformers，DVT）是一種針對視覺變換器（ViTs）的新型噪聲模型。通過解剖ViT輸出並引入可學習的去噪器，DVT能夠提取無噪聲的特徵，從而在離線應用和在線功能中顯著改善基於Transformer的模型的性能。DVT不需要重新訓練現有的預訓練ViTs，可立即應用於任何基於Transformer的架構。通過在多個數據集上進行廣泛評估，我們發現DVT在語義和幾何任務中持續顯著改善現有的最先進通用模型（例如，+3.84 mIoU）。我們希望我們的研究能夠鼓勵重新評估ViT設計，特別是關於位置嵌入的天真使用。

StreamDiffusion 是一種用於即時交互式生成的創新擴散管道。它為當前基於擴散的圖像生成技術引入了顯著的性能增強。StreamDiffusion 通過高效的批處理操作簡化數據處理流程。它提供了改進的引導機制，最小化計算冗餘。通過先進的過濾技術提高 GPU 利用率。它還有效地管理輸入和輸出操作，以實現更順暢的執行。StreamDiffusion 優化了緩存策略，提供了多種模型優化和性能增強工具。

PromptPerfect 是一款專業的提示詞工程開發工具，可用於設計、優化和部署針對各種大型模型的提示詞。它提供了逐步優化提示詞、構建小樣本提示詞、將提示詞部署為 REST 服務等功能。PromptPerfect 可幫助用戶提高大模型的輸出質量和效率。

Taylor AI是一個平臺，可以使您的工程團隊在不需要設置GPU和解密複雜庫的情況下訓練語言模型。它允許您按照自己的條件訓練和部署開源語言模型，讓您擁有完全的控制權和數據隱私。使用Taylor AI，您可以擺脫按標記付費的定價方式，自由地部署和與您的AI模型交互。它簡化了訓練和優化語言模型的過程，讓您的團隊可以專注於構建和迭代。Taylor AI始終跟上最新的開源模型，確保您可以使用最先進的語言模型進行訓練。根據您獨特的合規和安全標準安全地部署您的模型。