# 高速推論

MiniCPM-o 2.6は、MiniCPM-oシリーズにおける最新かつ最も強力なモデルです。SigLip-400M、Whisper-medium-300M、ChatTTS-200M、Qwen2.5-7Bを基盤として構築されており、80億パラメーターを保有しています。視覚理解、音声対話、マルチモーダルライブストリーミングにおいて優れた性能を発揮し、リアルタイムの音声対話とマルチモーダルライブストリーミング機能をサポートしています。オープンソースコミュニティにおいて高い評価を得ており、複数の有名モデルを凌駕しています。その強みは、高速な推論速度、低遅延、低メモリ消費、低消費電力であり、iPadなどの端末デバイスにおいても効率的にマルチモーダルライブストリーミングをサポートできます。さらに、MiniCPM-o 2.6は使いやすく、llama.cppによるCPU推論、int4およびGGUF形式の量子化モデル、vLLMの高スループット推論など、様々な使用方法をサポートしています。

vdr-2b-multi-v1は、Hugging Faceが提供する多言語対応の埋め込みモデルで、ビジュアルドキュメント検索用に設計されています。このモデルは、OCRやデータ抽出プロセスなしで、ドキュメントページのスクリーンショットを密集した単一ベクトル表現にエンコードし、多言語でビジュアルに豊富なドキュメントの検索と照会を可能にします。MrLight/dse-qwen2-2b-mrl-v1をベースに開発され、独自構築の多言語クエリ-画像ペアデータセットを用いてトレーニングされています。mcdse-2b-v1の後継モデルであり、性能が向上しています。イタリア語、スペイン語、英語、フランス語、ドイツ語に対応し、50万件の高品質サンプルを含むオープンソースの多言語合成トレーニングデータセットを使用しています。VRAM消費量が少なく、推論速度が速く、クロスリンガル検索において優れた性能を発揮します。

OnnxOCRはPaddleOCRをベースに再構築された軽量OCRモデルです。PaddlePaddle深層学習訓練フレームワークに依存せず、高速な推論を実現しています。80種類以上の言語に対応し、ONNXモデルに変換することで、PaddlePaddleフレームワークを使用する場合と比較して推論速度が5倍向上します。深層学習訓練フレームワークに依存しないため、容易にデプロイでき、計算能力が限られているが精度を維持する必要がある場面に適しており、ARMおよびx86アーキテクチャのコンピュータにデプロイ可能です。

Swiftは、Groq、Cartesia、Vercelが支援する高速AI音声アシスタントです。Groqを使用してOpenAI WhisperとMeta Llama 3の高速推論を行い、CartesiaのSonic音声モデルで高速音声合成を行い、フロントエンドにリアルタイムでストリーミングします。VAD技術を使用してユーザーの発話を検出し、音声セグメントへのコールバックを実行します。SwiftはTypeScriptで記述されたNext.jsプロジェクトであり、Vercel上にデプロイされています。

AsyncDiffは、ノイズ予測モデルを複数のコンポーネントに分割し、異なるデバイスに割り当てることで、拡散モデルの並列処理を実現する非同期ノイズ除去による高速化ソリューションです。この手法により、推論遅延を大幅に削減しつつ、生成品質への影響を最小限に抑えます。AsyncDiffは、Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion、AnimateDiffなど、複数の拡散モデルをサポートしています。

Phi-3 Miniは、Phi-2向けに合成されたデータとフィルタリングされたWebデータに基づいて構築された、軽量で最先端のオープンソース大規模言語モデルです。高品質で推論負荷の高いデータを提供することに重点を置いています。このモデルは、厳格な強化プロセスを経ており、教師あり微調整と直接的選好最適化を組み合わせることで、指示への正確な追従と強力なセキュリティ対策を確保しています。このリポジトリでは、CPUおよびGPUでのONNX Runtimeによる高速推論を可能にする、最適化されたPhi-3 MiniのONNXバージョンを提供しています。サーバー、Windows、Linux、Macなど、複数のプラットフォームをサポートし、各プラットフォームに最適な精度設定を提供しています。ONNX RuntimeのDirectMLサポートにより、開発者はAMD、Intel、NVIDIA GPU駆動のWindowsデバイスで大規模なハードウェアアクセラレーションを実現できます。