# アテンション機構

MoBA（Mixture of Block Attention）は、長文コンテキストを扱う大規模言語モデル向けに設計された革新的なアテンション機構です。コンテキストを複数のブロックに分割し、各クエリトークンが最も関連性の高いブロックに注目することで、効率的な長シーケンス処理を実現します。MoBAの主な利点は、フルアテンションとスパースアテンションをシームレスに切り替えられることで、性能と計算効率の両立を可能にしている点です。文書解析やコード生成など、長文処理が必要なタスクに適用可能であり、計算コストの大幅な削減と、高いモデル性能の維持を両立します。MoBAのオープンソース実装は、研究者や開発者に強力なツールを提供し、長文処理分野における大規模言語モデルの応用を促進します。

MobileLLMは、モバイルデバイス向けに最適化された小型言語モデルです。10億パラメーター未満の高品質LLMの設計に重点を置き、モバイル展開の実用性を重視しています。従来の考えとは異なり、本研究では小型LLMにおけるモデルアーキテクチャの重要性を強調しています。深層かつ薄型アーキテクチャと、埋め込み共有およびグループ化クエリ?アテンション機構を組み合わせることで、MobileLLMは精度の大幅な向上を実現し、モデルサイズを増やすことなく遅延オーバーヘッドの少ないブロックレベルの重み共有手法を提案しています。さらに、MobileLLMモデルファミリーは、チャットベンチマークテストにおいて、従来の小型モデルと比較して顕著な改善を示し、API呼び出しタスクではLLaMA-v2 7Bに匹敵する精度を実現しており、小型モデルが一般的なデバイスのユースケースにおける能力の高さを示しています。

FlashAttentionは、深層学習におけるTransformerモデル向けに設計された、オープンソースのアテンション機構ライブラリです。計算効率とメモリ使用効率の向上を目的としており、IO感知型のアプローチによってアテンション計算を最適化し、メモリ消費量を削減しつつ、正確な計算結果を維持します。FlashAttention-2では並列性とタスク割り当てがさらに改善され、FlashAttention-3ではHopper GPU向けに最適化され、FP16とBF16データ型をサポートしています。

Mamba-2は、Goomba AI Labが開発した新型シーケンシャルモデルであり、機械学習コミュニティにおけるシーケンシャルモデルの効率性と性能向上を目指しています。構造化状態空間双対（SSD）モデルを通じて、状態空間モデル（SSM）とアテンション機構の長所を組み合わせ、より効率的なトレーニングプロセスとより大きな状態次元を実現します。Mamba-2は、トレーニング時に行列乗算を利用できる設計となっており、ハードウェア効率の向上に繋がります。さらに、Mamba-2は多クエリ関連メモリ（MQAR）などのタスクで優れた性能を示し、複雑なシーケンシャル処理タスクにおける潜在能力の高さを示しています。

Gemma 2B - 10M Contextは、革新的なアテンション機構の最適化により、32GB未満のメモリで最大10Mトークンのシーケンスを処理できる大規模言語モデルです。Transformer-XL論文に着想を得た循環局所アテンション技術を採用し、大規模言語タスク処理のための強力なツールです。

Flash-Decodingは、長文脈コンテキスト推論のための技術です。推論におけるアテンション機構を大幅に高速化し、生成速度を8倍に向上させます。この技術は、キーと値を並列に読み込み、それぞれを再スケーリングして結果を組み合わせることで、正しいアテンション出力を維持し、高速な推論を実現します。Flash-Decodingは大規模言語モデルに適用でき、長文ドキュメント、長文会話、あるいはコードベース全体といった長文脈コンテキストを処理できます。Flash-DecodingはFlashAttentionパッケージとxFormersで提供されており、Flash-DecodingまたはFlashAttentionを自動的に選択できます。また、効率的なTritonカーネルを使用することも可能です。