# ONNX

kokoro-onnxは、KokoroモデルとONNXランタイムに基づくテキスト読み上げ（TTS）プロジェクトです。英語に対応しており、フランス語、日本語、韓国語、中国語への対応も計画されています。macOS M1ではほぼリアルタイムの高速性能を実現し、ささやき声を含む様々な音声オプションを提供します。モデルは軽量で、約300MB（量子化後約80MB）です。このプロジェクトはGitHub上でオープンソースとして公開されており、MITライセンスを採用しているため、開発者は容易に統合して使用できます。

RMBG-2.0は、BRIA AIが開発した背景除去モデルであり、画像の前景と背景を効果的に分離することを目的としています。汎用ストック画像、eコマース、ゲーム、広告コンテンツを含む厳選されたデータセットでトレーニングされており、ビジネスユースケースに適しており、大規模な企業コンテンツ制作を推進できます。その精度、効率性、多機能性は、主要なオープンソースモデルと比較しても遜色ありません。RMBG-2.0は、非商業目的で使用するためのソースコードとして利用可能なモデルです。

MixTeXは、チームが独自開発した革新的な多様なモードに対応したLaTeX認識ツールです。ローカルオフライン環境でCPUベースの高効率推論を実行します。LaTeX数式、表、混合テキストなど、あらゆるものをスムーズに認識し、日本語と英語に対応しています。強力な技術サポートと最適化された設計により、GPUリソースなしで効率的に動作し、あらゆるWindowsパソコンで利用でき、ユーザーエクスペリエンスを大幅に向上させます。

OnnxOCRはPaddleOCRをベースに再構築された軽量OCRモデルです。PaddlePaddle深層学習訓練フレームワークに依存せず、高速な推論を実現しています。80種類以上の言語に対応し、ONNXモデルに変換することで、PaddlePaddleフレームワークを使用する場合と比較して推論速度が5倍向上します。深層学習訓練フレームワークに依存しないため、容易にデプロイでき、計算能力が限られているが精度を維持する必要がある場面に適しており、ARMおよびx86アーキテクチャのコンピュータにデプロイ可能です。

transformers.jsは、Webページに高度な機械学習機能を提供することを目的としたJavaScriptライブラリです。このライブラリにより、ユーザーはサーバーレスで、事前にトレーニングされたTransformersモデルをブラウザ上で直接実行できます。バックエンドとしてONNX Runtimeを使用しており、PyTorch、TensorFlow、またはJAXモデルをONNX形式に変換できます。transformers.jsはHugging Faceのtransformers Pythonライブラリと同等の機能を提供し、同様のAPIを提供することで、開発者は既存のコードを容易にWebフロントエンドに移行できます。

Phi-3 Miniは、Phi-2で使用された合成データとフィルタリングされたウェブサイトに基づいて構築された、軽量で最先端のオープンソースモデルであり、高品質の推論集約型データに焦点を当てています。このモデルはPhi-3シリーズに属し、miniバージョンには4Kと128Kのコンテキスト長をサポートする2つのバリエーションがあります。このモデルは、厳格な強化プロセス（教師あり微調整と直接選好最適化を含む）を経ており、指示への正確な準拠と強力なセキュリティ対策が確保されています。これらのONNX最適化済みのPhi-3 Miniモデルは、CPU、GPU、モバイルデバイスで効率的に動作します。Microsoftは、Phi-3の使用を簡素化するONNX Runtime Generate() APIも提供しています。

Phi-3 Miniは、Phi-2向けに合成されたデータとフィルタリングされたWebデータに基づいて構築された、軽量で最先端のオープンソース大規模言語モデルです。高品質で推論負荷の高いデータを提供することに重点を置いています。このモデルは、厳格な強化プロセスを経ており、教師あり微調整と直接的選好最適化を組み合わせることで、指示への正確な追従と強力なセキュリティ対策を確保しています。このリポジトリでは、CPUおよびGPUでのONNX Runtimeによる高速推論を可能にする、最適化されたPhi-3 MiniのONNXバージョンを提供しています。サーバー、Windows、Linux、Macなど、複数のプラットフォームをサポートし、各プラットフォームに最適な精度設定を提供しています。ONNX RuntimeのDirectMLサポートにより、開発者はAMD、Intel、NVIDIA GPU駆動のWindowsデバイスで大規模なハードウェアアクセラレーションを実現できます。

sd4jは、ONNX Runtimeを用いたStable Diffusion推論のJava実装です。C#実装を最適化移植し、画像の繰り返し生成に対応したグラフィカルユーザーインターフェースを備え、ネガティブプロンプト入力にも対応しています。JavaにおけるONNX Runtimeの使用方法、および良好なパフォーマンスを得るためのONNX Runtimeのベストプラクティスを示すことを目的としています。ONNX Runtimeの最新バージョンとの同期を維持し、ONNX Runtime Java APIを通じて提供されるパフォーマンス関連のONNX Runtime機能が登場するにつれて、適宜更新していきます。これはコード例であるため、全てのコードは変更される可能性があり、いかなるAPIも安定版とは見なされません。