Ministral-8B-Instruct-2410
M
Ministral 8B Instruct 2410
簡介 :
Ministral-8B-Instruct-2410是由Mistral AI團隊開發的一款大型語言模型,專為本地智能、設備端計算和邊緣使用場景設計。該模型在類似的大小模型中表現優異,支持128k上下文窗口和交錯滑動窗口注意力機制,能夠在多語言和代碼數據上進行訓練,支持函數調用,詞彙量達到131k。Ministral-8B-Instruct-2410模型在各種基準測試中表現出色,包括知識與常識、代碼與數學以及多語言支持等方面。該模型在聊天/競技場(gpt-4o判斷)中的性能尤為突出,能夠處理複雜的對話和任務。
需求人群 :
目標受眾為研究人員、開發者和企業,他們需要一個高性能的語言模型來處理複雜的自然語言處理任務,包括但不限於語言翻譯、文本摘要、問答系統和聊天機器人等。該模型特別適合於需要在本地設備或邊緣環境中進行計算的場景,以減少對中心化雲服務的依賴,提高數據處理的速度和安全性。
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 53.3K
使用場景
使用vLLM庫實現生產就緒的推理管道
在服務器/客戶端設置中使用Ministral-8B進行聊天或問答
使用mistral-inference快速嘗試或“感受”模型的性能
處理超過100k令牌的passkey檢測任務
產品特色
支持128k上下文窗口和交錯滑動窗口注意力機制
在多語言和代碼數據上進行訓練
支持函數調用
詞彙量達到131k
在知識與常識、代碼與數學以及多語言支持等方面的基準測試中表現優異
適用於聊天/競技場(gpt-4o判斷)中的複雜對話和任務處理
使用教程
1. 安裝vLLM庫和mistral_common庫
2. 使用pip命令進行安裝:`pip install --upgrade vllm` 和 `pip install --upgrade mistral_common`
3. 從Hugging Face Hub下載模型並使用vLLM庫進行推理
4. 根據需要設置SamplingParams,例如最大令牌數
5. 創建LLM實例並提供模型名稱、tokenizer模式、config格式和load格式
6. 準備輸入提示並將其作為消息列表傳遞給LLM實例
7. 調用chat方法並獲取輸出結果
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase