# 預訓練

Crawl4LLM是一個開源的網絡爬蟲項目，旨在為大型語言模型（LLM）的預訓練提供高效的數據爬取解決方案。它通過智能選擇和爬取網頁數據，幫助研究人員和開發者獲取高質量的訓練語料。該工具支持多種文檔評分方法，能夠根據配置靈活調整爬取策略，以滿足不同的預訓練需求。項目基於Python開發，具有良好的擴展性和易用性，適合在學術研究和工業應用中使用。

Nemotron-CC是一個基於Common Crawl的6.3萬億token的數據集。它通過分類器集成、合成數據改寫和減少啟發式過濾器的依賴，將英文Common Crawl轉化為一個6.3萬億token的長期預訓練數據集，包含4.4萬億全球去重的原始token和1.9萬億合成生成的token。該數據集在準確性和數據量之間取得了更好的平衡，對於訓練大型語言模型具有重要意義。

中文互聯網語料資源平臺是由中國網絡空間安全協會主辦的專業網站，旨在為人工智能大模型的預訓練提供高質量、安全合規的中文語料資源。該平臺匯聚了來自企業、高校和科研單位的協同優勢，依託‘共建－共享’機制，形成了包括中文互聯網基礎語料2.0、人民網主流價值數據集、國家版本館明清文獻語料等多個高質量語料庫。這些語料庫經過嚴格的信源篩選、格式清洗、語言過濾、數據去重、內容過濾、隱私過濾等處理步驟，確保了數據的合法性、真實性、準確性和客觀性。平臺的資源對於推動國家人工智能技術創新和產業發展具有重要意義，可幫助大模型更好地理解和生成中文內容，提升其知識能力與價值觀對齊。

ModernBERT-large是一個現代化的雙向編碼器Transformer模型（BERT風格），在2萬億個英文和代碼數據上預訓練，具有長達8192個token的原生上下文長度。該模型採用了最新的架構改進，如旋轉位置嵌入（RoPE）以支持長上下文，局部-全局交替注意力以提高長輸入的效率，以及無填充和Flash Attention以提高推理效率。ModernBERT-long適合處理需要處理長文檔的任務，如檢索、分類和大型語料庫中的語義搜索。模型訓練數據主要是英文和代碼，因此可能在其他語言上的表現會較低。

YuLan-Mini是由中國人民大學AI Box團隊開發的一款輕量級語言模型，具有2.4億參數，儘管僅使用1.08T的預訓練數據，但其性能可與使用更多數據訓練的行業領先模型相媲美。該模型特別擅長數學和代碼領域，為了促進可復現性，團隊將開源相關的預訓練資源。

POINTS-Yi-1.5-9B-Chat是一個視覺語言模型，它集成了最新的視覺語言模型技術和微信AI提出的新技術。該模型在預訓練數據集過濾、模型湯（Model Soup）技術等方面有顯著創新，能夠顯著減少預訓練數據集的大小並提高模型性能。它在多個基準測試中表現優異，是視覺語言模型領域的一個重要進展。

FineWeb2是由Hugging Face提供的一個大規模多語言預訓練數據集，覆蓋超過1000種語言。該數據集經過精心設計，用於支持自然語言處理(NLP)模型的預訓練和微調，特別是在多種語言上。它以其高質量、大規模和多樣性而聞名，能夠幫助模型學習跨語言的通用特徵，提升在特定語言任務上的表現。FineWeb2在多個語言的預訓練數據集中表現出色，甚至在某些情況下，比一些專門為單一語言設計的數據庫表現更好。

TableGPT2是一個大型多模態模型，專門針對表格數據進行預訓練和微調，以解決實際應用中表格數據整合不足的問題。該模型在超過593.8K的表格和2.36M的高質量查詢-表格-輸出元組上進行了預訓練和微調，規模前所未有。TableGPT2的關鍵創新之一是其新穎的表格編碼器，專門設計用於捕獲模式級別和單元格級別的信息，增強了模型處理模糊查詢、缺失列名和不規則表格的能力。在23個基準測試指標上，TableGPT2在7B模型上平均性能提升了35.20%，在72B模型上提升了49.32%，同時保持了強大的通用語言和編碼能力。

FineWeb數據集包含超過15萬億個經過清洗和去重的英文網頁數據，來源於CommonCrawl。該數據集專為大型語言模型預訓練設計，旨在推動開源模型的發展。數據集經過精心處理和篩選，以確保高質量，適用於各種自然語言處理任務。

Chinese Tiny LLM（CT-LLM）是針對中文設計的首個大語言模型，擁有20億參數，並在12000億中文語料庫上進行預訓練。CT-LLM專注於提高對中文語言的理解和生成能力，利用大規模的中文數據預訓練，實現對中文文本的高效處理。雖然重點優化了中文處理，CT-LLM也展示了對英文和編程代碼的良好處理能力，體現了模型的多語言適應性。在中文語言任務的基準測試CHC-Bench上，CT-LLM展現了出色的性能，證明了其在理解和應用中文方面的高效能力。CT-LLM從零開始訓練，主要使用中文數據進行預訓練，開放了整個數據過濾過程、訓練動態、訓練和評估數據，以及模型的中間檢查點等所有相關信息。該開放資源的做法使得其他研究者、開發者能夠訪問這些資源，利用這些資料進行自己的研究或進一步改進模型。

蘋果發佈了自己的大語言模型MM1，這是一個最高有30B規模的多模態LLM。通過預訓練和SFT，MM1模型在多個基準測試中取得了SOTA性能，展現了上下文內預測、多圖像推理和少樣本學習能力等吸引人的特性。

YOLO-World是一款先進的即時開放詞彙物體檢測器，基於You Only Look Once (YOLO)系列檢測器，並通過視覺-語言建模和大規模數據集的預訓練，增強了開放詞彙檢測能力。其採用新的可重新參數化的視覺-語言路徑聚合網絡（RepVL-PAN）和區域-文本對比損失，促進了視覺和語言信息之間的交互。YOLO-World在零-shot方式下高效地檢測各種對象，具有高效率。在具有挑戰性的LVIS數據集上，YOLO-World在V100上實現了35.4 AP和52.0 FPS，在準確性和速度方面均優於許多最新方法。此外，經過微調的YOLO-World在多項下游任務上表現出色，包括物體檢測和開放詞彙實例分割。