# Transformers

EXAONE 3.5是LG AI Research開發的一系列指令調優的雙語（英語和韓語）生成模型，參數範圍從2.4B到32B。這些模型支持長達32K令牌的長上下文處理，並在真實世界用例和長上下文理解方面展現出最先進的性能，同時在與最近發佈的類似大小模型相比的一般領域中保持競爭力。EXAONE 3.5模型包括：1) 2.4B模型，優化用於小型或資源受限設備的部署；2) 7.8B模型，與前代模型大小相匹配，但提供改進的性能；3) 32B模型，提供強大的性能。

PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct-Q4_K_M-GGUF是一個基於70B參數的大型量化語言模型，使用了4-bit量化技術，以減少模型大小並提高推理效率。該模型屬於PatronusAI系列，是基於Transformers庫構建的，適用於需要高性能自然語言處理的應用場景。模型遵循cc-by-nc-4.0許可協議，意味著可以非商業性地使用和分享。

PatronusAI/Llama-3-Patronus-Lynx-8B-v1.1-Instruct-Q8-GGUF是一個基於Llama模型的量化版本，專為對話和幻覺檢測設計。該模型使用了GGUF格式，擁有8.03億參數，屬於大型語言模型。它的重要性在於能夠提供高質量的對話生成和幻覺檢測能力，同時保持模型的高效運行。該模型是基於Transformers庫和GGUF技術構建的，適用於需要高性能對話系統和內容生成的應用場景。

EXAONE-3.5-2.4B-Instruct-AWQ是由LG AI Research開發的一系列雙語（英語和韓語）指令調優生成模型，參數範圍從2.4B到32B。這些模型支持長達32K令牌的長上下文處理，並且在真實世界用例和長上下文理解方面展現出最先進的性能，同時在與近期發佈的類似大小模型相比，在通用領域保持競爭力。該模型在部署到小型或資源受限設備上進行了優化，並且採用了AWQ量化技術，實現了4位群組權重量化（W4A16g128）。

Llama-Lynx-70b-4bit-Quantized是由PatronusAI開發的一個大型文本生成模型，具有70億參數，並且經過4位量化處理，以優化模型大小和推理速度。該模型基於Hugging Face的Transformers庫構建，支持多種語言，特別是在對話生成和文本生成領域表現出色。它的重要性在於能夠在保持較高性能的同時減少模型的存儲和計算需求，使得在資源受限的環境中也能部署強大的AI模型。

EXAONE-3.5-7.8B-Instruct是由LG AI Research開發的一系列指令調優的雙語（英語和韓語）生成模型，參數範圍從2.4B到32B。這些模型支持長達32K令牌的長上下文處理，並在真實世界用例和長上下文理解方面展現出最先進的性能，同時在與近期發佈的類似大小模型相比，在通用領域保持競爭力。

EXAONE-3.5-2.4B-Instruct是LG AI Research開發的一系列雙語（英語和韓語）指令調優的生成模型，參數範圍從2.4B到32B。這些模型支持長達32K令牌的長上下文處理，並在真實世界用例和長上下文理解方面展現出最先進的性能，同時在與最近發佈的類似大小模型相比的通用領域中保持競爭力。該模型特別適合需要處理長文本和多語言需求的場景，如自動翻譯、文本摘要、對話系統等。

EXAONE 3.5是LG AI Research開發的一系列雙語（英語和韓語）指令調優的生成模型，參數從2.4B到32B不等。這些模型支持長達32K令牌的長上下文處理，在真實世界用例和長上下文理解方面展現出了最先進的性能，同時在與近期發佈的類似大小模型相比，在通用領域保持競爭力。EXAONE 3.5模型包括：1) 2.4B模型，優化用於部署在小型或資源受限的設備上；2) 7.8B模型，與前代模型大小匹配但提供改進的性能；3) 32B模型，提供強大的性能。

InternVL2_5-4B是一個先進的多模態大型語言模型（MLLM），在InternVL 2.0的基礎上進行了核心模型架構的維護，並在訓練和測試策略以及數據質量上進行了顯著增強。該模型在處理圖像、文本到文本的任務中表現出色，特別是在多模態推理、數學問題解決、OCR、圖表和文檔理解等方面。作為開源模型，它為研究人員和開發者提供了強大的工具，以探索和構建基於視覺和語言的智能應用。

InternVL2_5-8B是由OpenGVLab開發的一款多模態大型語言模型（MLLM），它在InternVL 2.0的基礎上進行了顯著的訓練和測試策略增強，以及數據質量提升。該模型採用'ViT-MLP-LLM'架構，集成了新增量預訓練的InternViT與多種預訓練語言模型，如InternLM 2.5和Qwen 2.5，使用隨機初始化的MLP projector。InternVL 2.5系列模型在多模態任務上展現出卓越的性能，包括圖像和視頻理解、多語言理解等。

OLMo 2 7B是由Allen Institute for AI (Ai2)開發的一款7B參數的大型語言模型，它在多個自然語言處理任務上展現出色的表現。該模型通過在大規模數據集上的訓練，能夠理解和生成自然語言，支持多種語言模型相關的科研和應用。OLMo 2 7B的主要優點包括其大規模的參數量，使得模型能夠捕捉到更加細微的語言特徵，以及其開源的特性，促進了學術界和工業界的進一步研究和應用。

SmolVLM是一個小型但功能強大的視覺語言模型（VLM），擁有2B參數，以其較小的內存佔用和高效性能在同類模型中處於領先地位。SmolVLM完全開源，包括所有模型檢查點、VLM數據集、訓練配方和工具均在Apache 2.0許可下發布。該模型適合在瀏覽器或邊緣設備上進行本地部署，降低推理成本，並允許用戶自定義。

QwQ-32B-Preview是一個由Qwen團隊開發的實驗性研究模型，旨在提高人工智能的推理能力。該模型展示了有前景的分析能力，但也存在一些重要的限制。模型在數學和編程方面表現出色，但在常識推理和細微語言理解方面還有提升空間。該模型使用了transformers架構，具有32.5B個參數，64層，以及40個注意力頭（GQA）。產品背景信息顯示，QwQ-32B-Preview是基於Qwen2.5-32B模型的進一步開發，具有更深層次的語言理解和生成能力。

Qwen2.5-Coder是Qwen大型語言模型的最新系列，專注於代碼生成、代碼推理和代碼修復。基於強大的Qwen2.5，該系列模型通過增加訓練令牌至5.5萬億，包括源代碼、文本代碼接地、合成數據等，顯著提升了代碼生成、推理和修復能力。Qwen2.5-Coder-32B已成為當前最先進的開源代碼大型語言模型，編碼能力與GPT-4o相匹配。此外，Qwen2.5-Coder還為真實世界應用提供了更全面的基礎，如代碼代理，不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢。

AlphaQubit是由Google DeepMind和Quantum AI團隊共同開發的人工智能系統，它能夠以最先進的準確性識別量子計算機中的錯誤。這項技術結合了機器學習和量子糾錯的專業知識，旨在推動可靠量子計算機的構建，這對於解決複雜問題、實現科學突破和探索新領域具有重要意義。AlphaQubit的主要優點包括高準確性和對大規模量子計算的適用性。

Qwen2.5-Coder 是針對代碼生成的模型，在代碼生成等方面顯著提升，參數規模多樣，支持量化。免費，面向開發者提高效率和質量。

Qwen2.5-Coder-7B是基於Qwen2.5的大型語言模型，專注於代碼生成、代碼推理和代碼修復。它在5.5萬億的訓練令牌上進行了擴展，包括源代碼、文本代碼接地、合成數據等，是目前開源代碼語言模型的最新進展。該模型不僅在編程能力上與GPT-4o相匹配，還保持了在數學和一般能力上的優勢，並支持長達128K令牌的長上下文。

Qwen2.5-Coder-7B-Instruct是Qwen2.5-Coder系列中的一款代碼特定大型語言模型，覆蓋了0.5、1.5、3、7、14、32億參數的六種主流模型尺寸，以滿足不同開發者的需求。該模型在代碼生成、代碼推理和代碼修復方面有顯著提升，基於強大的Qwen2.5，訓練令牌擴展到5.5萬億，包括源代碼、文本代碼基礎、合成數據等。Qwen2.5-Coder-32B已成為當前最先進的開源代碼LLM，其編碼能力與GPT-4o相匹配。此外，該模型還支持長達128K令牌的長上下文，併為實際應用如代碼代理提供了更全面的基礎。

Qwen2.5-Coder-14B是Qwen系列中專注於代碼的大型語言模型，覆蓋了0.5到32億參數的不同模型尺寸，以滿足不同開發者的需求。該模型在代碼生成、代碼推理和代碼修復方面有顯著提升，基於強大的Qwen2.5，訓練令牌擴展到5.5萬億，包括源代碼、文本代碼接地、合成數據等。Qwen2.5-Coder-32B已成為當前最先進的開源代碼LLM，其編碼能力與GPT-4o相匹配。此外，它還為現實世界應用如代碼代理提供了更全面的基礎，不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢。支持長達128K令牌的長上下文。

Qwen2.5-Coder-14B-Instruct是Qwen2.5-Coder系列中的一個大型語言模型，專注於代碼生成、代碼推理和代碼修復。基於強大的Qwen2.5，該模型通過擴展訓練令牌到5.5萬億，包括源代碼、文本代碼接地、合成數據等，成為當前開源代碼LLM的最新技術。它不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢，並支持長達128K令牌的長上下文。

Qwen2.5-Coder-32B是基於Qwen2.5的代碼生成模型，擁有32億參數，是目前開源代碼語言模型中參數最多的模型之一。它在代碼生成、代碼推理和代碼修復方面有顯著提升，能夠處理長達128K tokens的長文本，適用於代碼代理等實際應用場景。該模型在數學和通用能力上也保持了優勢，支持長文本處理，是開發者在進行代碼開發時的強大助手。

Qwen2.5-Coder是一系列專為代碼生成設計的Qwen大型語言模型，包含0.5、1.5、3、7、14、32億參數的六種主流模型尺寸，以滿足不同開發者的需求。該模型在代碼生成、代碼推理和代碼修復方面有顯著提升，基於強大的Qwen2.5，訓練令牌擴展到5.5萬億，包括源代碼、文本代碼基礎、合成數據等。Qwen2.5-Coder-32B是目前最先進的開源代碼生成大型語言模型，其編碼能力與GPT-4o相匹配。它不僅增強了編碼能力，還保持了在數學和通用能力方面的優勢，並支持長達128K令牌的長上下文。

transformers.js 是一個JavaScript庫，旨在為網頁提供先進的機器學習能力。它允許用戶在瀏覽器中直接運行預訓練的Transformers模型，無需服務器支持。該庫使用ONNX Runtime作為後端，支持將PyTorch、TensorFlow或JAX模型轉換為ONNX格式。transformers.js 與 Hugging Face 的 transformers Python 庫功能等價，提供相似的API，使得開發者能夠輕鬆地將現有代碼遷移到網頁端。

Llama-3 70B Gradient 524K Adapter是一個基於Llama-3 70B模型的適配器，由Gradient AI Team開發，旨在通過LoRA技術擴展模型的上下文長度至524K，從而提升模型在處理長文本數據時的性能。該模型使用了先進的訓練技術，包括NTK-aware插值和RingAttention庫，以高效地在高性能計算集群上進行訓練。

TinyLlama項目旨在在3萬億令牌上預訓練一個1.1B Llama模型。通過一些適當的優化，我們可以在“僅”90天內使用16個A100-40G GPU完成。訓練已於2023-09-01開始。我們採用了與Llama 2完全相同的架構和分詞器。這意味著TinyLlama可以在許多建立在Llama基礎上的開源項目中使用。此外，TinyLlama只有1.1B個參數，緊湊性使其能夠滿足許多對計算和內存佔用有限的應用需求。