T-MAC
T
T MAC
紹介 :
T-MACは、ルックアップテーブルを使用して混合精度行列乗算を直接サポートするカーネルライブラリです。量子化操作は不要で、CPU上での低ビット大型言語モデルの推論を高速化することを目的としています。GPTQ/ggufのW4A16、BitDistiller/EfficientQATのW2A16、そしてOSX/Linux/Windows上のARM/Intel CPU向けのBitNet W1(.58)A8など、様々な低ビットモデルをサポートしています。Surface Laptop 7では、3B BitNetのトークン生成スループットを、シングルコアで毎秒20個、クアッドコアで毎秒48個達成し、既存の最先端のCPU低ビットフレームワーク(llama.cpp)と比べて4~5倍高速です。
ターゲットユーザー :
T-MACは、特にエッジデバイスでのリアルタイムまたはニアリアルタイムの推論性能を求めるアプリケーションシナリオにおいて、CPU上で大型言語モデルの推論を行う必要がある開発者や企業を対象としています。モバイルデバイス、組み込みシステム、またはリソースが制限された環境など、消費電力と計算リソースの最適化が必要な場合に適しています。
総訪問数: 502.6M
最も高い割合の地域: US(19.34%)
ウェブサイト閲覧数 : 45.8K
使用シナリオ
Surface Laptop 7でT-MACを使用して3B BitNetモデルの推論を行うことで、顕著な速度向上が実現されました。
Snapdragon X Eliteチップ上では、T-MACによってNPUと同等の性能を実現し、同時にモデルサイズを削減しました。
Jetson AGX Orin上では、特定のタスクにおいて、T-MACはCUDA GPUと比較して消費電力面での優位性を示しました。
製品特徴
GPTQ形式のLlamaモデルにおける1/2/3/4ビット量子化の推論をサポート。
最新のSnapdragon X Eliteチップでは、トークン生成速度がNPUを上回ります。
Windows ARM上でのネイティブな展開をサポート。Surface Laptop 7では、顕著な5倍の速度向上を示しました。
ルックアップテーブルを使用することで、CPUコアの使用率を大幅に削減し、消費電力とエネルギー消費量を低減します。
Snapdragon X Eliteチップ上では、NPUと比較して、T-MACのCPU性能がQualcomm Snapdragon Neural Processing Engine(NPE)を上回ります。
Jetson AGX Orin上では、CUDA GPUと比較して、T-MACの2ビットmpGEMM性能がCUDA GPUと同等です。
使用チュートリアル
Python環境をインストールし、TVMの要件を満たすためにバージョン3.8であることを確認してください。
オペレーティングシステムに応じて、cmake >= 3.22およびその他の依存関係をインストールします。
仮想環境でpipを使用してT-MACをインストールし、適切な環境変数を有効にします。
提供されているツールスクリプトを使用してエンドツーエンドの推論を行うか、特定のタスクの推論のためにllama.cppと統合します。
必要に応じて、-faフラグを使用して高速集約を有効にするなど、パラメータを調整します。
おすすめAI製品
DeepMind Gemini
Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選
LiblibAI
Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase