EXAONE 3.5 32B Instruct GGUF : LG AI Research開發的多語言、高性能大型語言模型

EXAONE 3.5 32B Instruct GGUF

AI模型開發與工具 #大型語言模型 #多語言支持 #長上下文處理 #指令調優 #預量化模型普通產品開源

簡介 :

EXAONE-3.5-32B-Instruct-GGUF是LG AI Research開發的一系列指令調優的雙語（英語和韓語）生成模型，包含2.4B至32B參數的不同版本。這些模型支持長達32K令牌的長上下文處理，展現了在真實世界用例和長上下文理解中的最前沿性能，同時在與近期發佈的類似規模模型相比，在通用領域保持競爭力。該模型系列通過技術報告、博客和GitHub提供了詳細信息，並且包含了多種精度的指令調優32B語言模型，具有以下特點：參數數量（不含嵌入）為30.95B，層數為64，注意力頭數為GQA，包含40個Q頭和8個KV頭，詞彙量為102,400，上下文長度為32,768令牌，量化包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等GGUF格式（也包括BF16權重）。

需求人群 :

目標受眾為需要高性能語言模型的研究人員、開發者和企業，特別是在需要處理大量數據和長上下文信息的場景中。EXAONE-3.5-32B-Instruct-GGUF因其強大的性能和多語言支持，適合於進行自然語言處理、文本生成、機器翻譯等任務，幫助用戶提高工作效率和處理複雜問題的能力。

總訪問量： 29.7M

佔比最多地區： US(17.94%)

本站瀏覽量： 47.2K

使用場景

利用EXAONE-3.5-32B-Instruct-GGUF進行長篇文章的生成和內容理解。

在多語言環境下，使用該模型進行跨語言的文本翻譯和信息檢索。

在對話系統和聊天機器人中，應用該模型以提供更自然和準確的語言交互。

產品特色

支持長上下文處理，上下文長度可達32K令牌。

包含不同精度的模型，如Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS和BF16。