# 推論エンジン

MNNは、アリババ淘系技術がオープンソースで提供するディープラーニング推論エンジンです。TensorFlow、Caffe、ONNXなど主要なモデル形式に対応し、CNN、RNN、GANなど一般的なネットワークと互換性があります。演算子性能を極限まで最適化し、CPU、GPU、NPUを全面的にサポートすることで、デバイスの計算能力を最大限に活用し、アリババの70以上の場面におけるAIアプリケーションに広く利用されています。MNNは、高性能、使いやすさ、汎用性で知られ、AI導入のハードルを下げ、エッジAIの発展を促進することを目的としています。

RDFoxは、オックスフォード大学コンピュータサイエンス学科の3人の教授が、数十年にわたる知識表現と推論（KRR）研究に基づいて開発した、ルール駆動型AI技術です。その独特の特長は以下の通りです。1. 強力なAI推論能力：RDFoxは、人間のようにデータから知識を創り出し、事実を基に推論を行い、結果の正確性と説明可能性を保証します。2. 高性能：メモリ上で動作する唯一の知識グラフとして、RDFoxはベンチマークテストにおいて他のグラフ技術をはるかに凌駕し、数十億件のトリプルの複雑なデータストアを処理できます。3. スケーラブルな展開：RDFoxは非常に高い効率性と最適化された占有スペースを備えており、エッジやモバイルデバイスに組み込み、AIアプリケーションのブレインとして独立して動作させることができます。4. エンタープライズレベルの機能：高性能、高可用性、アクセス制御、説明可能性、人間のような推論能力、データインポートとAPIサポートなどを備えています。5. インクリメンタル推論：RDFoxの推論機能は、データの追加や削除時に即座に更新され、パフォーマンスに影響を与えることなく、再読み込みの必要がありません。

fal.aiは、開発者向けの生成メディアプラットフォームです。業界最速の推論エンジンを提供することで、低コストで拡散モデルを実行し、全く新しいユーザーエクスペリエンスを生み出せます。リアルタイムでシームレスなWebSocket推論インフラストラクチャにより、開発者にとって優れた使用感を提供します。fal.aiの価格体系は、実際の使用状況に合わせて柔軟に調整されるため、消費した計算リソースに対してのみ料金が発生し、最適な拡張性と経済性を両立しています。

PowerInferは、コンシューマ向けGPUを利用して、パーソナルコンピュータ上で高速に大規模言語モデルの推論を行うエンジンです。LLM推論における高い局所性の特徴を利用し、事前に活性化されたニューロンをGPUにプリロードすることで、GPUメモリ要求とCPU-GPU間のデータ転送を大幅に削減します。PowerInferは、適応型予測器とニューロン感知型スパース演算子を統合し、ニューロンの活性化と計算スパース性の効率を最適化します。単一のNVIDIA RTX 4090 GPU上で、平均毎秒13.20トークンの生成速度で推論を実行でき、最上位サーバー級A100 GPUと比較してわずか18%の差しかありません。同時に、モデルの精度は維持されます。