TinyLlama
T
Tinyllama
簡介 :
TinyLlama項目旨在在3萬億令牌上預訓練一個1.1B Llama模型。通過一些適當的優化,我們可以在“僅”90天內使用16個A100-40G GPU完成。訓練已於2023-09-01開始。我們採用了與Llama 2完全相同的架構和分詞器。這意味著TinyLlama可以在許多建立在Llama基礎上的開源項目中使用。此外,TinyLlama只有1.1B個參數,緊湊性使其能夠滿足許多對計算和內存佔用有限的應用需求。
需求人群 :
TinyLlama可用於聊天模型的微調和文本生成。
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 66.0K
使用場景
https://github.com/jzhang38/TinyLlama
https://huggingface.co/docs/transformers/main/en/chat_templating
https://github.com/huggingface/transformers.git
產品特色
文本生成
Transformers
安全張量
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase