SpacTor-T5
S
Spactor T5
简介 :
SpacTor是一种新的训练程序,包括(1)结合了段落破坏(SC)和标记替换检测(RTD)的混合目标,以及(2)一个两阶段课程,该课程在初始tau次迭代中优化混合目标,然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验,使用编码器-解码器架构(T5),SpacTor-T5在下游性能方面与标准的SC预训练相当,同时减少了50%的预训练迭代次数和40%的总FLOPs。另外,在相同的计算预算下,我们发现SpacTor能够显著提高下游基准性能。
需求人群 :
适用于自然语言处理任务的预训练模型
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 50.0K
使用场景
在NLP任务中使用SpacTor-T5进行文本生成
利用SpacTor-T5进行情感分析
在问答系统中应用SpacTor-T5进行问题回答
产品特色
混合目标的训练程序
段落破坏和标记替换检测
两阶段课程优化
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase