# エッジコンピューティング

RF-DETRは、エッジデバイスに高精度とリアルタイム性能を提供することを目的とした、Transformerベースのリアルタイム物体検出モデルです。Microsoft COCOベンチマークで60 APを超える競争力のある性能と高速な推論速度を備え、様々な実用的なアプリケーションシナリオに適しています。RF-DETRは、現実世界の物体検出問題を解決することを目的としており、防犯、自動運転、スマート監視など、高効率かつ正確な検出が必要な業界に適しています。

OmniAudio-2.6Bは、26億パラメーターのマルチモーダルモデルであり、テキストと音声の入力をシームレスに処理できます。Gemma-2B、Whisper turbo、およびカスタム投影モジュールを組み合わせることで、従来のASRとLLMモデルを直列に接続する方法とは異なり、これらの機能を効率的なアーキテクチャに統合し、最小限の遅延とリソース消費を実現しています。これにより、スマートフォン、ノートパソコン、ロボットなどのエッジデバイスで安全かつ迅速に音声テキストを直接処理できます。

SmolVLMは、20億パラメーターを持つ小型ながらも高性能なビジョン言語モデル（VLM）です。同種のモデルと比較して、メモリ消費量が少なく、効率性に優れています。SmolVLMは、全てのモデルチェックポイント、VLMデータセット、トレーニングレシピ、ツールを含む全てがApache 2.0ライセンスの下で完全にオープンソースとして公開されています。ブラウザやエッジデバイスへのローカル展開に適しており、推論コストを削減し、ユーザーによるカスタマイズを可能にします。

Workers AIは、Cloudflareが提供するエッジコンピューティング環境で機械学習モデルを実行するための製品です。画像分類、テキスト生成、物体検出など、さまざまなタイプのAIアプリケーションをCloudflareのグローバルネットワークノードに展開して実行できます。Workers AIの登場により、CloudflareはグローバルネットワークにGPUリソースを導入し、開発者はユーザーに近い場所で動作する野心的なAIアプリケーションを構築?展開できるようになりました。主なメリットとして、グローバル分散展開、低遅延、高性能、信頼性があり、無料プランと有料プランの両方をサポートしています。

Moonshineは、リソースの限られたデバイス向けに最適化された音声テキスト変換モデルシリーズです。リアルタイムでのオンデバイスアプリケーション（現場での転写や音声コマンド認識など）に最適です。HuggingFaceが管理するOpenASRランキングで使用されているテストデータセットにおいて、Moonshineの単語誤り率（WER）は、同規模のOpenAI Whisperモデルを上回っています。さらに、Moonshineの計算需要は入力音声の長さに応じて変化するため、短い入力音声はより高速に処理されます。これは、すべての音声を30秒のブロックとして処理するWhisperモデルとは異なります。Moonshineは、10秒の音声断片をWhisperの5倍の速度で処理しながら、同等かそれ以上のWERを維持します。

LlamaモデルはMeta社が発表した大規模言語モデルです。量子化技術により、モデルのサイズを小さくし、動作速度を向上させながら、モデルの品質と安全性を維持しています。これらのモデルは、モバイルデバイスやエッジデバイスへの展開に特に適しており、リソースに制限のあるデバイスでも高速なオンデバイス推論を提供し、メモリ使用量を削減します。量子化Llamaモデルの開発は、モバイルAI分野における重要な進歩を示しており、多くの開発者が豊富な計算リソースを必要とせずに、高品質なAIアプリケーションを構築および展開できるようになります。

Ministral-8B-Instruct-2410は、Mistral AIチームが開発した大規模言語モデルで、ローカルインテリジェンス、デバイスエンド計算、エッジユースケース向けに設計されています。同規模のモデルの中では優れた性能を示し、128kコンテキストウィンドウとインターリーブスライディングウィンドウアテンションメカニズムに対応しています。多言語データとコードデータでトレーニングされており、関数呼び出しをサポートし、語彙数は131kに達します。Ministral-8B-Instruct-2410モデルは、知識と常識、コードと数学、多言語サポートなど、様々なベンチマークテストで優れた結果を示しています。特に、チャット/アリーナ（gpt-4oによる評価）での性能が優れており、複雑な会話やタスクを処理できます。

Llama 3.2は、1Bおよび3Bサイズの多言語テキストモデル、ならびに11Bおよび90Bサイズのテキストと画像を入力としてテキストを出力するモデルを含む、一連の大規模言語モデル（LLM）です。これらのモデルは、高性能かつ高効率のアプリケーション開発に使用できます。Llama 3.2のモデルは、モバイルデバイスやエッジデバイス上で動作し、複数のプログラミング言語をサポートしており、Llama Stackを使用してエージェントアプリケーションを構築できます。

Grounding DINO 1.5は、IDEA Researchによって開発された、オープンワールド物体検出技術の限界を押し上げることを目指した高度なモデルシリーズです。このシリーズには、Grounding DINO 1.5 ProとGrounding DINO 1.5 Edgeの2つのモデルが含まれており、それぞれ広範なアプリケーションシナリオとエッジコンピューティングシナリオ向けに最適化されています。

VILAは、大規模なインターリーブされた画像テキストデータで事前トレーニングされた、事前学習済みのビジョン言語モデル（VLM）です。これにより、動画の理解と複数の画像の理解が可能になります。VILAは、AWQ 4bit量子化とTinyChatフレームワークにより、エッジデバイスへの展開が可能です。主な利点としては、1) 性能向上に不可欠なインターリーブされた画像テキストデータ、2) コンテキスト学習を促進する、大規模言語モデル（LLM）をインターリーブされた画像テキスト事前トレーニング中に固定しないこと、3) VLMと純粋なテキストの性能を大幅に向上させるテキスト指示データのリミックス、4) 動画フレーム数の拡張を可能にするトークン圧縮、などが挙げられます。VILAは、動画推論、コンテキスト学習、ビジュアル思考連鎖、より優れた世界知識など、魅力的な能力を示します。

Octopus-V2-2Bは、スタンフォード大学NexaAIが開発したオープンソースの大規模言語モデルです。20億パラメーターを持ち、Android APIの機能呼び出し用に特化して設計されています。独自の機能的トークン化戦略を採用することで、学習と推論の両段階において、GPT-4に匹敵する性能と高速な推論速度を実現しています。Octopus-V2-2Bはエッジコンピューティングデバイスに特に適しており、デバイス上で直接動作し、幅広いアプリケーションシナリオに対応可能です。

Chooch AI Vision Platformは、AIアルゴリズムを用いて画像と動画のリアルタイム分析と認識を行うAIビジョン?プラットフォームです。数百万種類もの視覚オブジェクト、画像、または動作を迅速に検知?分析し、画像が認識された時点で即座に対応できます。高精度かつ効率的な動作で、業務運営の性能向上に貢献します。Chooch AI Vision Platformは、複数の事前学習済みAIモデルを提供しており、クラウドまたはエッジデバイスへの迅速な展開をサポートします。価格は、お客様のニーズに合わせてカスタマイズいたします。

Blaizeは、より効率的で、柔軟性が高く、正確で、経済的なAIエッジコンピューティングのハードウェアとソフトウェアプラットフォームです。パフォーマンスを犠牲にすることなくエッジでAIを展開し、市場の変革と生活様式の向上に大きな価値をもたらします。