EasyContext
E
Easycontext
简介 :
EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。主要采用的技术包括序列并行、Deepspeed zero3离载、Flash注意力以及激活checkpoint等。该项目不提出新的创新点,而是展示如何组合现有的技术手段来实现这一目标。已成功训练出Llama-2-7B和Llama-2-13B两个模型,分别在8块A100和16块A100上实现了700K和1M词元的上下文长度。
需求人群 :
用于训练具有超长上下文的语言模型
总访问量: 474.6M
占比最多地区: US(19.34%)
本站浏览量 : 55.5K
使用场景
使用EasyContext在8块A100上训练Llama-2-7B模型,实现了700K词元的上下文长度
使用EasyContext在16块A100上训练Llama-2-13B模型,实现了1M词元的上下文长度
通过组合现有技术手段,EasyContext大幅提升了语言模型的上下文长度,为视频生成等应用奠定了基础
产品特色
序列并行
Deepspeed zero3离载
Flash注意力和融合交叉熵核心
激活checkpoint
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase