# 大型言語モデル

Star-AttentionはNVIDIAが提案した新しいブロックスパース注意力機構であり、Transformerベースの大型言語モデル（LLM）の長系列における推論効率を向上させることを目的としています。この技術は二段階の操作によって推論速度を大幅に向上させながら、95～100％の精度を維持します。ほとんどのTransformerベースのLLMと互換性があり、追加のトレーニングや微調整なしで直接使用でき、Flash AttentionやKVキャッシュ圧縮技術などの他の最適化手法と組み合わせて使用することで、さらに性能を向上させることができます。

fixie-ai/ultravox-v0_4_1-llama-3_1-8bは、事前学習済みLlama3.1-8B-Instructとwhisper-large-v3-turboを基盤とした大型言語モデルであり、音声とテキストの入力を処理してテキスト出力を生成できます。このモデルは、特別な<|audio|>擬似トークンを使用して、入力音声の埋め込みを生成し、テキスト出力を生成します。将来のバージョンでは、意味的および音響的なオーディオトークン生成をサポートするためにトークンボキャブラリを拡張する予定であり、それによりボコーダーを用いた音声出力も可能になります。このモデルは翻訳評価において優れた性能を示し、バイアス調整は行われていません。音声エージェント、音声翻訳、音声分析などのシナリオに適しています。

BitNetは、マイクロソフトが開発した公式推論フレームワークであり、1ビット大型言語モデル（LLM）向けに設計されています。最適化されたコアを提供し、CPU上で高速かつロスレスな1.58ビットモデル推論をサポートしています（NPUおよびGPUサポートは近日公開予定）。BitNetはARM CPUにおいて1.37倍から5.07倍の速度向上、55.4％から70.0％のエネルギー効率向上を実現しました。x86 CPUでは、速度向上が2.37倍から6.17倍、エネルギー効率向上が71.9％から82.2％に達します。さらに、BitNetは単一CPU上で100BパラメーターのBitNet b1.58モデルを実行し、人間並みの読書速度に近い推論速度を実現することで、ローカルデバイス上での大型言語モデル実行の可能性を広げます。

MInferenceは、長文脈大型言語モデル（LLM）の推論を高速化するフレームワークです。LLMのAttention機構における動的スパース性を利用し、静的パターン認識とオンラインスパースインデックス近似計算により、プリフィリング速度を大幅に向上させます。単一のA100 GPU上で1Mコンテキストの処理速度を10倍に高速化し、同時に推論精度を維持します。

LLM101nは、物語を語る人工知能大型言語モデル（LLM）をゼロから構築する方法を教えるオープンソースコースです。言語モデル、機械学習、深層学習フレームワークなど、基礎から高度な内容まで幅広く網羅しており、AIとLLMを深く理解したいプログラマーや研究者向けです。

InternLM-Math-Plusは、最新の双言語（英語と中国語）対応のオープンソース大型言語モデル（LLM）であり、数学的推論に特化しており、数学問題の解決、証明、検証、拡張能力を備えています。非公式な数学的推論（思考連鎖やコード解釈など）と公式な数学的推論（LEAN 4への変換と証明など）において顕著な性能向上を実現しています。

Entry Point AIは、大型言語モデルをトレーニングするためのプラットフォームです。コーディング不要で、カスタムモデルのトレーニング、管理、評価を迅速かつ効率的に行うことができます。クロスプラットフォーム対応のトレーニングツールを提供し、モデル性能の比較、データセットの注釈付け、合成データの生成を行い、対話型モデルよりも優れた速度と品質を実現します。