KPU (Knowledge Processing Unit) 是一種專有的豐富框架,利用了大型語言模型的強大功能,並將推理和數據處理分離在一個能夠解決複雜任務的開放系統中。它由推理引擎、執行引擎和虛擬上下文窗口三個主要組件組成。推理引擎負責設計解決用戶任務的分步計劃,利用了可插拔的大型語言模型(目前廣泛測試了 GPT-4 Turbo)。執行引擎接收來自推理引擎的命令並執行,結果作為反饋發送回推理引擎進行重新規劃。虛擬上下文窗口管理推理引擎和執行引擎之間的數據和信息輸入輸出。這種分離推理和執行的架構使大型語言模型能專注於推理,避免了謊言、數據處理或檢索最新信息等缺陷。KPU 旨在提升任務質量和性能,解決大數據量、多模態內容、開放性問題解決和交互性等挑戰。