# 計算効率

1.58-bit FLUXは、{-1, 0, +1}の値を用いてFLUX.1-devモデルを量子化することで、1024x1024画像の生成性能を維持しながら、高度なテキストから画像生成を実現するモデルです。本手法は画像データへのアクセスを必要とせず、FLUX.1-devモデルの自己教師学習に完全に依存しています。さらに、1.58ビット演算を最適化したカスタムカーネルを開発し、モデルサイズは7.7倍、推論メモリは5.1倍の削減、推論遅延の改善を実現しました。GenEvalとT2I Compbenchベンチマークにおける広範な評価により、1.58-bit FLUXは生成品質を維持しつつ、計算効率を大幅に向上させることが示されました。

SliceGPTは、新たな後トレーニング疎化手法です。各重み行列をより小さい（密な）行列で置き換えることで、ネットワークの埋め込み次元を削減します。数多くの実験を通して、SliceGPTはLLAMA2-70B、OPT 66B、Phi-2モデルのパラメータの最大25％（埋め込みを含む）を削除しながら、ゼロショットタスクのパフォーマンスを99％、99％、90％維持できることを示しました。SliceGPTモデルは、少ないGPUで動作し、追加のコード最適化なしで実行速度が向上します。24GBのコンシューマ向けGPUでは、LLAMA2-70Bの推論総計算量を密なモデルの64％に削減し、40GBのA100 GPUでは66％に削減しました。本研究では、トランスフォーマーネットワークにおける計算不変性という新たな知見を提供しており、これがSliceGPTを可能にしています。この研究が、今後、事前学習済みモデルのメモリと計算コストの削減に向けた新たなアプローチの開発?促進に繋がることを期待しています。