LLM Augmented LLMs
L
LLM Augmented LLMs
簡介 :
LLM Augmented LLMs通過將現有基礎模型與更具體的模型進行組合,實現新的能力。CALM(Composition to Augment Language Models)引入模型之間的交叉注意力,以組合它們的表示並實現新的能力。其顯著特點包括:(i)通過“重用”現有LLMs以及少量額外參數和數據,在新任務上擴展LLMs的規模;(ii)保持現有模型權重不變,因此保留現有的能力;(iii)適用於不同的領域和設置。實驗證明,將PaLM2-S與在低資源語言上訓練的較小模型進行增強,在諸如翻譯成英語和低資源語言的算術推理等任務上,結果絕對改善了高達13%。類似地,當PaLM2-S與特定於代碼的模型進行增強時,在代碼生成和解釋任務上,相對於基礎模型,我們看到了高達40%的改進,與完全微調的對應模型不相上下。
需求人群 :
適用於需要對語言模型進行擴展和增強的編程任務
總訪問量: 29.7M
佔比最多地區: US(17.94%)
本站瀏覽量 : 48.3K
使用場景
在代碼生成和解釋任務中,將PaLM2-S與特定於代碼的模型進行增強
在低資源語言上訓練的較小模型進行增強,結果絕對改善了高達13%的翻譯任務
適用於需要對語言模型進行擴展和增強的編程任務
產品特色
通過重用現有LLMs和少量額外參數和數據,在新任務上擴展LLMs的規模
保持現有模型權重不變,因此保留現有的能力
適用於不同的領域和設置
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase