contrastors
C
Contrastors
Overview :
contrastors是一个对比学习工具包,使研究人员和工程师能够高效地训练和评估对比模型。它建立在Flash Attention之上,支持多GPU训练,具有GradCache支持,可以在受限内存环境下进行大批量训练。它还支持Huggingface,可以轻松加载常见模型。同时支持遮蔽语言建模预训练和Matryoshka表示学习。
Target Users :
用于研究和工程师高效地训练和评估对比学习模型
Total Visits: 474.6M
Top Region: US(19.34%)
Website Views : 63.8K
Use Cases
使用contrastors在8块GPU上从零开始训练BERT模型
使用contrastors微调nomic-bert-embed-v1-unsupervised模型
使用contrastors的脚本生成自己的数据集进行对比学习
Features
多GPU支持
GradCache支持大批量训练
支持遮蔽语言模型预训练
支持Huggingface加载常见模型
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase