# 推理框架

Atom of Thoughts (AoT) 是一種新型推理框架，通過將解決方案表示為原子問題的組合，將推理過程轉化為馬爾可夫過程。該框架通過分解和收縮機制，顯著提升了大語言模型在推理任務上的性能，同時減少了計算資源的浪費。AoT 不僅可以作為獨立的推理方法，還可以作為現有測試時擴展方法的插件，靈活結合不同方法的優勢。該框架開源且基於 Python 實現，適合研究人員和開發者在自然語言處理和大語言模型領域進行實驗和應用。

BitNet是由微軟開發的官方推理框架，專為1位大型語言模型（LLMs）設計。它提供了一套優化的核心，支持在CPU上進行快速且無損的1.58位模型推理（NPU和GPU支持即將推出）。BitNet在ARM CPU上實現了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升範圍從2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能夠在單個CPU上運行100B參數的BitNet b1.58模型，實現接近人類閱讀速度的推理速度，拓寬了在本地設備上運行大型語言模型的可能性。

PowerInfer-2是一個為智能手機特別優化的推理框架，支持高達47B參數的MoE模型，實現了每秒11.68個token的推理速度，比其他框架快22倍。它通過異構計算和I/O-Compute流水線技術，顯著減少了內存使用，並提高了推理速度。該框架適用於需要在移動設備上部署大型模型的場景，以增強數據隱私和性能。