# モデル最適化

ZeroSearch は、実際の検索エンジンとの相互作用なしに、大規模な言語モデル（LLMs）の検索能力を促進する新しいタイプの強化学習フレームワークです。教師あり微調整を通じて、ZeroSearch は LLM を関連する無関係なドキュメントを生成できる検索モジュールに変換します。また、モデルの推論能力を段階的に促進するコースウェアメカニズムを導入しています。この技術の主な利点は、実際の検索エンジンに基づくモデルよりもパフォーマンスが高いことに加え、API 成本が発生しないことです。さまざまな規模の LLM に対応しており、異なる強化学習アルゴリズムをサポートしています。これは、効率的な検索能力を持つ必要のある研究や開発チームに最適です。

このモデルは、強化学習と高品質な推論軌跡のマスクされた自己教師あり微調整により、拡散型大規模言語モデルの推論能力の向上を実現しました。この技術の重要性は、モデルの推論プロセスを最適化し、計算コストを削減しながら、学習ダイナミクスの安定性を維持できる点にあります。ライティングや推論タスクで効率を向上させたいユーザーに適しています。

Prunaは開発者向けに設計されたモデル最適化フレームワークであり、量子化、剪定、コンパイルなどのさまざまな圧縮アルゴリズムを通じて、機械学習モデルの推論を高速化し、サイズを縮小し、計算コストを削減します。LLM、ビジョン変換器など、さまざまなモデルタイプに適用でき、Linux、MacOS、Windowsなど複数のプラットフォームをサポートしています。Prunaは、より高度な最適化機能と優先サポートを提供するエンタープライズ版Pruna Proも提供しており、ユーザーが実際のアプリケーションで効率を向上させることができます。

Synexa AIは、AIモデルの導入を簡素化するプラットフォームです。1行のコードでモデルを迅速にオンライン化できます。主な利点としては、非常にシンプルな導入プロセス、強力な自動拡張機能、費用対効果の高いGPUリソース、最適化された推論エンジンがあり、開発効率の大幅な向上と運用コストの削減を実現します。このプラットフォームは、AIモデルの迅速な導入と効率的な運用を必要とする企業や開発者向けであり、安定性、効率性、経済性に優れたソリューションを提供し、ユーザーがAI分野で迅速に価値を実現する支援をします。

Moonlightは、Muon最適化器で訓練された160億パラメータの混合専門家モデル（MoE）であり、大規模訓練において優れた成果を示しています。重み減衰の追加とパラメータ更新率の調整により、訓練効率と安定性が大幅に向上しました。複数のベンチマークテストにおいて既存モデルを上回り、同時に訓練に必要な計算量を大幅に削減しています。Moonlightのオープンソース実装と事前学習済みモデルは、研究者や開発者に強力なツールを提供し、テキスト生成、コード生成など、様々な自然言語処理タスクをサポートします。

1.58-bit FLUXは、{-1, 0, +1}の値を用いてFLUX.1-devモデルを量子化することで、1024x1024画像の生成性能を維持しながら、高度なテキストから画像生成を実現するモデルです。本手法は画像データへのアクセスを必要とせず、FLUX.1-devモデルの自己教師学習に完全に依存しています。さらに、1.58ビット演算を最適化したカスタムカーネルを開発し、モデルサイズは7.7倍、推論メモリは5.1倍の削減、推論遅延の改善を実現しました。GenEvalとT2I Compbenchベンチマークにおける広範な評価により、1.58-bit FLUXは生成品質を維持しつつ、計算効率を大幅に向上させることが示されました。

Neural Magicは、AIモデルの最適化とデプロイに特化した企業です。パフォーマンスを最大化し、ハードウェアの効率性を向上させる、業界をリードするエンタープライズレベルの推論ソリューションを提供しています。当社の製品は、GPUとCPUインフラストラクチャ上で主要なオープンソースの大規模言語モデル（LLM）を実行でき、企業がクラウド、プライベートデータセンター、またはエッジ環境において、安全かつ効率的にAIモデルをデプロイすることを支援します。Neural Magicの製品背景には、機械学習モデル最適化に関する専門知識と、GPTQやSparseGPTなどの革新的なLLM圧縮技術を研究機関との共同開発で実現した実績が示されています。価格と位置づけにおいては、無料トライアルと有料サービスを提供し、企業のコスト削減、効率向上、データプライバシーとセキュリティの維持を支援することを目指しています。

torchaoは、PyTorchのライブラリであり、カスタムデータ型と最適化に重点を置いています。量子化とスパース化された重み、勾配、オプティマイザ、活性化関数をサポートし、推論とトレーニングに使用されます。torch.compile()とFSDP2と互換性があり、ほとんどのPyTorchモデルの高速化を実現します。torchaoは、量子化認識トレーニング（QAT）やポストトレーニング量子化（PTQ）などの技術を通じて、精度損失を最小限に抑えながら、モデルの推論速度とメモリ効率を向上させることを目指しています。

Future AGIは、AIモデルの出力の自動評価を行う自動化されたAIモデル評価プラットフォームです。手動でのQA評価の必要性を排除し、QAチームはより戦略的な業務に集中できるようになり、効率と帯域幅を最大10倍向上させます。本プラットフォームは、自然言語を使用してビジネスにとって最も重要な指標を定義し、モデルのパフォーマンスを評価し、ビジネス目標との整合性を確保するための柔軟性と制御性を向上させます。また、開発プロセスにパフォーマンスデータとユーザーフィードバックを統合することで、継続的な改善サイクルを作り出し、AIを各インタラクションでよりスマートにします。

ComfyUI-GGUFは、ComfyUIネイティブモデルにGGUF量子化サポートを提供するプロジェクトです。llama.cppによって普及したGGUF形式でモデルファイルを保存することを可能にします。一般的なUNETモデル（conv2d）は量子化に適していませんが、fluxのようなtransformer/DiTモデルは量子化の影響を受けにくいようです。これにより、低スペックGPUでも、重みあたりビットレートを低くして実行できるようになります。

Mistral NeMoは、Mistral AIとNVIDIAが共同開発した12Bパラメーターのモデルで、最大128kトークンのロングコンテキストウィンドウを備えています。推論、世界知識、コーディング精度において最先端の性能を誇ります。世界中の多言語アプリケーション向けに設計されており、英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、日本語、韓国語、アラビア語、ヒンディー語など、多くの言語をサポートしています。さらに、新しいトークナイザーTekkenを採用することで、テキストとソースコードの圧縮効率を向上させています。また、インストラクションチューニング済みであるため、正確な指示への準拠、推論、複数回の対話処理、コード生成能力が向上しています。

mistral-finetuneは、LoRAトレーニングパラダイムに基づいた軽量コードライブラリです。大部分の重みを凍結したまま、追加の重みの1～2％のみを、低ランク行列摂動の形でファインチューニングできます。多GPU単一ノードのトレーニング設定に最適化されており、7Bモデルのような比較的小さいモデルであれば、単一のGPUでも十分です。このコードライブラリは、特にデータフォーマットに関して、シンプルで分かりやすいファインチューニングの入り口を提供することを目的としており、多様なモデルアーキテクチャやハードウェアタイプを網羅することを目的としていません。

Model Explorerは、Googleが開発した機械学習モデル用のグラフ可視化ツールです。大規模グラフを直感的な階層形式で可視化することに重点を置いており、小規模モデルにも対応しています。特に、デバイス側プラットフォームへの大規模モデルの展開プロセスを簡素化し、変換、量子化、最適化データの可視化に役立ちます。Model Explorerは、インスタンス化レンダリングやマルチチャネル符号付き距離場（MSDF）など、3Dゲームやアニメーション制作で使用されるグラフィック技術を取り入れ、機械学習グラフのレンダリングに適合させています。JAX、PyTorch、TensorFlow、TensorFlow Liteで使用される形式など、複数のグラフ形式をサポートしています。階層ビューと複雑な構造をナビゲートする機能により、大規模モデルをより理解しやすくなります。

Gemma 2は、次世代のGoogle Gemmaモデルであり、27億パラメーターを備え、Llama 3 70Bと同等の性能を発揮しながら、モデルサイズは半分です。NVIDIAのGPU上で最適化された実行、またはVertex AI上の単一TPUホスト上での効率的な実行が可能で、導入コストを削減し、より幅広いユーザーによるアクセスと利用を可能にします。また、Google CloudやAxolotlなどのクラウドソリューションやコミュニティツール、Hugging FaceやNVIDIA TensorRT-LLMとのシームレスなパートナー統合をサポートする、強力なファインチューニングツールチェーンを提供します。

Depth Anythingは、堅牢な単眼深度推定のための非常に実用的なソリューションです。私たちは、新規の技術モジュールを追求するのではなく、あらゆる状況におけるあらゆる画像を処理できる、シンプルで強力な基礎モデルの構築を目指しました。そのため、データエンジンを設計してデータセットを拡張し、大規模な未ラベルデータ（約6200万枚）を収集および自動アノテーションすることで、データカバレッジを大幅に拡大し、汎化誤差の低減を実現しました。データ拡張を有望なものにするために、2つのシンプルかつ効果的な戦略を研究しました。まず、データ拡張ツールを活用して、より挑戦的な最適化目標を作成します。これにより、モデルは積極的に追加の視覚情報を求め、強力な表現を獲得することを余儀なくされます。次に、事前学習済みエンコーダーから豊富な意味的事前情報を継承させるための補助的な監督を開発しました。6つの公開データセットとランダムに撮影された写真を含む、そのゼロショット能力について広範な評価を行いました。その汎化能力は非常に印象的です。さらに、NYUv2とKITTIからのメトリック深度情報を使用して微調整することにより、新たな最先端技術（SOTA）を確立しました。私たちの改良された深度モデルは、より優れた深度条件付きControlNetをもたらしました。私たちのモデルはhttps://github.com/LiheYoung/Depth-Anythingで公開されています。

ノイズ除去ビジョン変換器（Denoising Vision Transformers、DVT）は、ビジョン変換器（ViTs）を対象とした新しいノイズモデルです。ViTの出力の解剖と学習可能なノイズ除去器の導入により、DVTはノイズのない特徴を抽出でき、オフラインアプリケーションとオンライン機能において、Transformerベースのモデルのパフォーマンスを大幅に向上させます。DVTは既存の事前学習済みViTsの再トレーニングを必要とせず、あらゆるTransformerベースのアーキテクチャにすぐに適用できます。複数のデータセットで広範な評価を行った結果、DVTはセマンティックタスクと幾何学的タスクにおいて、既存の最先端の汎用モデルを継続的に大幅に改善することがわかりました（例：+3.84 mIoU）。本研究が、特に位置埋め込みの単純な使用に関するViT設計の見直しを促すことを願っています。

StreamDiffusionは、リアルタイムのインタラクティブな生成のための革新的な拡散パイプラインです。これは、現在の拡散ベースの画像生成技術に著しい性能向上をもたらします。StreamDiffusionは、効率的なバッチ処理操作によりデータ処理ワークフローを簡素化します。改良されたガイダンスメカニズムを提供し、計算上の冗長性を最小限に抑えます。高度なフィルタリング技術によりGPUの利用率を向上させます。また、入力と出力の操作を効果的に管理することで、よりスムーズな実行を実現します。StreamDiffusionはキャッシュ戦略を最適化し、様々なモデル最適化とパフォーマンス向上ツールを提供します。

PromptPerfectは、様々な大規模言語モデルに対応したプロンプトの設計、最適化、デプロイを行うための、プロフェッショナルなプロンプトエンジニアリング開発ツールです。プロンプトの段階的な最適化、少サンプルプロンプトの構築、プロンプトをRESTサービスとしてデプロイする機能などを提供します。PromptPerfectは、大規模モデルの出力品質と効率の向上を支援します。

Taylor AIは、GPUの設定や複雑なライブラリの解読を行うことなく、エンジニアリングチームが言語モデルをトレーニングできるプラットフォームです。独自の条件でオープンソースの言語モデルをトレーニングおよびデプロイできるため、完全な制御とデータプライバシーを確保できます。Taylor AIを使用することで、トークン数に応じた課金方式から解放され、AIモデルを自由にデプロイし、やり取りすることができます。言語モデルのトレーニングと最適化のプロセスを簡素化し、チームは構築と反復に集中できます。Taylor AIは常に最新のオープンソースモデルを導入しており、最先端の言語モデルを使用してトレーニングできます。独自のコンプライアンスおよびセキュリティ基準に従って、安全にモデルをデプロイできます。