TinyLlama
T
Tinyllama
简介 :
TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以在许多建立在Llama基础上的开源项目中使用。此外,TinyLlama只有1.1B个参数,紧凑性使其能够满足许多对计算和内存占用有限的应用需求。
需求人群 :
TinyLlama可用于聊天模型的微调和文本生成。
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 68.7K
使用场景
https://github.com/jzhang38/TinyLlama
https://huggingface.co/docs/transformers/main/en/chat_templating
https://github.com/huggingface/transformers.git
产品特色
文本生成
Transformers
安全张量
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase