Infini-attention
I
Infini Attention
簡介 :
Google開發的“Infini-attention”技術旨在擴展基於Transformer的大語言模型以處理無限長的輸入,通過壓縮記憶機制實現無限長輸入處理,並在多個長序列任務上取得優異表現。技術方法包括壓縮記憶機制、局部與長期注意力的結合和流式處理能力等。實驗結果顯示在長上下文語言建模、密鑰上下文塊檢索和書籍摘要任務上的性能優勢。
需求人群 :
適用於處理要求對長序列數據進行高效建模和推理的NLP任務。
總訪問量: 20.4M
佔比最多地區: US(29.22%)
本站瀏覽量 : 53.5K
使用場景
長文本生成:利用Infini-attention技術生成長篇文章。
密鑰檢索:在處理長序列密鑰上下文塊檢索任務中應用。
文本摘要:處理長篇文本生成精煉的文本摘要。
產品特色
壓縮記憶機制
局部與長期注意力結合
流式處理能力
支持快速流式推理
模型擴展性
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase