SpacTor-T5
S
Spactor T5
簡介 :
SpacTor是一種新的訓練程序,包括(1)結合了段落破壞(SC)和標記替換檢測(RTD)的混合目標,以及(2)一個兩階段課程,該課程在初始tau次迭代中優化混合目標,然後過渡到標準的SC損失。我們在多種NLP任務上進行了實驗,使用編碼器-解碼器架構(T5),SpacTor-T5在下游性能方面與標準的SC預訓練相當,同時減少了50%的預訓練迭代次數和40%的總FLOPs。另外,在相同的計算預算下,我們發現SpacTor能夠顯著提高下游基準性能。
需求人群 :
適用於自然語言處理任務的預訓練模型
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 46.9K
使用場景
在NLP任務中使用SpacTor-T5進行文本生成
利用SpacTor-T5進行情感分析
在問答系統中應用SpacTor-T5進行問題回答
產品特色
混合目標的訓練程序
段落破壞和標記替換檢測
兩階段課程優化
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase