contrastors
C
Contrastors
簡介 :
contrastors是一個對比學習工具包,使研究人員和工程師能夠高效地訓練和評估對比模型。它建立在Flash Attention之上,支持多GPU訓練,具有GradCache支持,可以在受限內存環境下進行大批量訓練。它還支持Huggingface,可以輕鬆加載常見模型。同時支持遮蔽語言建模預訓練和Matryoshka表示學習。
需求人群 :
用於研究和工程師高效地訓練和評估對比學習模型
總訪問量: 474.6M
佔比最多地區: US(19.34%)
本站瀏覽量 : 59.3K
使用場景
使用contrastors在8塊GPU上從零開始訓練BERT模型
使用contrastors微調nomic-bert-embed-v1-unsupervised模型
使用contrastors的腳本生成自己的數據集進行對比學習
產品特色
多GPU支持
GradCache支持大批量訓練
支持遮蔽語言模型預訓練
支持Huggingface加載常見模型
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase