# CPU最適化

BitNetは、マイクロソフトが開発した公式推論フレームワークであり、1ビット大型言語モデル（LLM）向けに設計されています。最適化されたコアを提供し、CPU上で高速かつロスレスな1.58ビットモデル推論をサポートしています（NPUおよびGPUサポートは近日公開予定）。BitNetはARM CPUにおいて1.37倍から5.07倍の速度向上、55.4％から70.0％のエネルギー効率向上を実現しました。x86 CPUでは、速度向上が2.37倍から6.17倍、エネルギー効率向上が71.9％から82.2％に達します。さらに、BitNetは単一CPU上で100BパラメーターのBitNet b1.58モデルを実行し、人間並みの読書速度に近い推論速度を実現することで、ローカルデバイス上での大型言語モデル実行の可能性を広げます。

T-MACは、ルックアップテーブルを使用して混合精度行列乗算を直接サポートするカーネルライブラリです。量子化操作は不要で、CPU上での低ビット大型言語モデルの推論を高速化することを目的としています。GPTQ/ggufのW4A16、BitDistiller/EfficientQATのW2A16、そしてOSX/Linux/Windows上のARM/Intel CPU向けのBitNet W1(.58)A8など、様々な低ビットモデルをサポートしています。Surface Laptop 7では、3B BitNetのトークン生成スループットを、シングルコアで毎秒20個、クアッドコアで毎秒48個達成し、既存の最先端のCPU低ビットフレームワーク（llama.cpp）と比べて4～5倍高速です。

fastcは、大規模言語モデルの埋め込みに基づくシンプルで軽量なテキスト分類ツールです。CPU実行に特化し、deepset/tinyroberta-6l-768dなどの効率的なモデルを使用して埋め込みを生成します。ファインチューニングの代わりにコサイン類似度による分類を行い、テキスト分類を実現します。また、追加のオーバーヘッドなしで、同じモデルを使用して複数の分類器を実行できます。