

Slicegpt
简介 :
切片GPT是一种新的后训练稀疏化方案,它通过用较小(密集)的矩阵替换每个权重矩阵来减少网络的嵌入维度。通过大量实验,我们展示了切片GPT可以在保持99%、99%和90%的零-shot任务性能的前提下,移除LLAMA2-70B、OPT 66B和Phi-2模型的高达25%的模型参数(包括嵌入)。我们的切片模型在较少的GPU上运行,并且在不进行任何额外代码优化的情况下运行速度更快:在24GB消费级GPU上,我们将LLAMA2-70B的推理总计算量减少到密集模型的64%;在40GB A100 GPU上,我们将其减少到66%。我们提供了一个新的见解,即变压器网络中的计算不变性,这使得切片GPT成为可能。我们希望它能激发并促进未来减少预训练模型的内存和计算需求的新途径。
需求人群 :
切片GPT适用于需要提高模型计算效率、减少内存占用的场景。
使用场景
切片GPT可用于减少大型语言模型的内存消耗。
切片GPT可用于加速大型语言模型的推理过程。
切片GPT可用于提高预训练模型的计算效率。
产品特色
后训练稀疏化
模型参数压缩
提高模型计算效率
精选AI产品推荐

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型
11.4M
中文精选

Liblibai
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。平台提供海量免费AI创作模型,用户可以搜索使用模型进行图像、文字、音频等创作。平台还支持用户训练自己的AI模型。平台定位于广大创作者用户,致力于创造条件普惠,服务创意产业,让每个人都享有创作的乐趣。
AI模型
8.0M