# WebGPU

Moonshine Webは、ReactとViteを用いて構築されたシンプルなアプリケーションです。高速かつ正確な自動音声認識（ASR）向けに最適化された強力な音声認識モデルであるMoonshine Baseを搭載しています。リソースに制限のあるデバイスにも対応可能です。このアプリケーションはブラウザ上でローカルに動作し、Transformers.jsとWebGPUによる高速化（またはWASMを代替として）を採用しています。サーバー不要でローカル音声認識を実現できる点が重要であり、音声データの迅速な処理が必要なアプリケーションに最適です。

WebLLMは、WebGPUによるハードウェアアクセラレーションを活用した、高性能なブラウザ内言語モデル推論エンジンです。強力な言語モデル操作をサーバーサイド処理なしで、ウェブブラウザ内で直接実行できます。このプロジェクトは、大規模言語モデル（LLM）をクライアント側に直接統合することで、コスト削減、パーソナライズの強化、プライバシー保護を実現することを目指しています。Llama、Phi、Gemma、RedPajama、Mistral、Qwenなど、様々なモデルに対応し、OpenAI APIとの互換性も備えているため、プロジェクトへの統合が容易です。リアルタイムインタラクションとストリーミング処理をサポートしており、パーソナライズされたAIアシスタント構築に最適です。

Phi-3 WebGPUは、Transformers.jsとonnxruntime-webを組み合わせたAIモデルです。WebGPUによる高速化技術を活用し、20t/sを超える処理速度を実現しています。全てのデータ処理はローカルで行われるため、ユーザーのプライバシーとセキュリティが確保されます。中国語の回答には幾つかの課題が残りますが、ブラウザ上でAIモデルを実行できる点は注目に値します。

Web LLMは、モジュール化されカスタマイズ可能なJavaScriptパッケージで、言語モデルチャットをWebブラウザに直接導入できます。すべてがブラウザ内で実行され、サーバーサポートは不要で、WebGPUによって高速化されます。AIアシスタントの構築に多くの興味深い機会を提供し、GPUアクセラレーションによるプライバシー保護も実現します。このプロジェクトはMLC LLMの関連プロジェクトであり、MLC LLMはiPhoneなどのローカル環境でLLMをローカル実行できます。