LongRoPE
L
Longrope
簡介 :
LongRoPE是微軟推出的技術,可以將預訓練大型語言模型(LLM)的上下文窗口擴展到2048k(200萬)令牌,實現從短上下文到長上下文的擴展,降低訓練成本和時間,同時保持原有短上下文窗口性能。適用於提高語言模型在長文本上的理解和生成能力,提升機器閱讀理解、文本摘要和長篇文章生成等任務。
需求人群 :
適用於需要處理極長文本的任務,提高語言模型在長文本上的理解和生成能力,提升機器閱讀理解、文本摘要和長篇文章生成等任務的性能。
總訪問量: 474.6M
佔比最多地區: US(19.34%)
本站瀏覽量 : 59.9K
使用場景
用於機器閱讀理解任務,提高模型在長文本上的理解能力。
應用於文本摘要生成,提升自動摘要生成效果。
支持長篇文章生成,使模型能夠更好地處理大篇幅文本。
產品特色
擴展上下文窗口至200萬令牌
低成本微調
保持短上下文性能
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase