# エンドツーエンドモデル

OpenEMMAは、WaymoのEMMAモデルを再現したオープンソースプロジェクトです。自動運転車両のモーションプランニングのためのエンドツーエンドフレームワークを提供します。このモデルは、GPT-4やLLaVAなどの事前学習済みの視覚言語モデル（VLMs）を利用し、テキストと前方のカメラ入力を取り込むことで、車両自身の将来の経路点の正確な予測を実現し、その意思決定の根拠も提示します。OpenEMMAの目標は、研究者や開発者が自動運転研究と応用を推進するための使いやすいツールを提供することです。

GLM-4-Voiceは、清華大学チームが開発したエンドツーエンドの音声モデルです。日本語と英語の音声を直接理解し生成することで、リアルタイムの音声対話を可能にします。高度な音声認識と音声合成技術により、音声からテキスト、そして再び音声へのシームレスな変換を実現し、低遅延かつ高精度な対話能力を備えています。音声モーダルにおける知性と合成表現力に最適化されており、リアルタイムの音声インタラクションが必要な場面に適しています。

LLaMA-Omniは、Llama-3.1-8B-Instructをベースとした、低遅延かつ高品質のエンドツーエンド音声対話モデルです。GPT-4oレベルの音声能力を目指しており、低遅延の音声対話に対応し、テキストと音声の両方の応答を同時に生成できます。わずか3日未満で4つのGPUのみを使用して訓練されたことで、その高い訓練効率が示されています。

OptiSpeechは、デバイス上でのテキスト読み上げ変換向けに設計された、効率的で軽量かつ高速なテキスト読み上げモデルです。高度な深層学習技術を活用し、自然に聞こえる音声にテキストを変換できます。モバイルデバイスや組み込みシステムでの音声合成が必要なアプリケーションに最適です。OptiSpeechの開発は、Pneuma Solutions提供のGPUリソースによって大幅に加速されました。

CyberHostは、エンドツーエンドのオーディオ駆動型人体アニメーションフレームワークです。領域コードブックアテンションメカニズムにより、手の完全性、同一性、自然な動きの生成を実現しています。このモデルは、双U-Netアーキテクチャを基本構造として使用し、モーションフレーム戦略によって時間的継続性を確保することで、オーディオ駆動型人体アニメーションの基盤を構築しています。CyberHostは、ボディモーションマップ、ハンドクリアネススコア、ポーズアライメントリファレンス特徴、ローカルエンハンスメントスーパービジョンなど、人間中心のトレーニング戦略を数多く採用することで、合成結果の品質を向上させています。CyberHostは、人体範囲でゼロショットビデオ生成を実現した最初のオーディオ駆動型人体拡散モデルです。

SpeechGPT2は、復旦大学計算機科学学院が開発したエンドツーエンドの音声対話言語モデルです。感情を感知して表現し、コンテキストと人間の指示に基づいて、様々なスタイルで適切な音声応答を提供します。このモデルは超低ビットレート音声コーデック（750bps）を採用し、意味情報と音響情報を模倣し、多入力多出力言語モデル（MIMO-LM）を用いて初期化されます。現在、SpeechGPT2はまだターン制の対話システムですが、全二重リアルタイム版の開発が進められており、有望な進展が見られています。計算資源とデータ資源の制約から、音声認識のノイズ耐性と音声生成の音質安定性にはまだ課題がありますが、今後、技術レポート、コード、モデルウェイトをオープンソース化する予定です。