LLM Augmented LLMs通過將現有基礎模型與更具體的模型進行組合，實現新的能力。CALM（Composition to Augment Language Models）引入模型之間的交叉注意力，以組合它們的表示並實現新的能力。其顯著特點包括：（i）通過“重用”現有LLMs以及少量額外參數和數據，在新任務上擴展LLMs的規模；（ii）保持現有模型權重不變，因此保留現有的能力；（iii）適用於不同的領域和設置。實驗證明，將PaLM2-S與在低資源語言上訓練的較小模型進行增強，在諸如翻譯成英語和低資源語言的算術推理等任務上，結果絕對改善了高達13%。類似地，當PaLM2-S與特定於代碼的模型進行增強時，在代碼生成和解釋任務上，相對於基礎模型，我們看到了高達40%的改進，與完全微調的對應模型不相上下。