StreamVoiceは、言語モデルに基づいたゼロリップ音声変換モデルです。完全なソース音声なしでリアルタイム変換を実現します。全因果的コンテキスト認識言語モデルと時間独立の聴覚予測器を組み合わせることで、各時間ステップで意味的特徴と聴覚的特徴を交互に処理し、完全なソース音声への依存を解消します。ストリーミング処理におけるコンテキストの不完全性による性能低下を軽減するため、StreamVoiceは2つの戦略によって言語モデルのコンテキスト認識能力を高めています。1）教師付きコンテキスト予測：教師モデルを用いて現在と将来の意味的コンテキストを要約し、欠損コンテキストの予測を学習します。2）意味的マスキング：損傷した過去の意味的および聴覚的入力からの聴覚予測を促進し、コンテキスト学習能力を強化します。特筆すべきは、StreamVoiceが未来予測を一切必要としない、初の言語モデルベースのストリーミング型ゼロリップ音声変換モデルであることです。実験結果によると、StreamVoiceはストリーミング変換能力を備えつつ、非ストリーミング音声変換システムと同等のゼロリップ性能を維持しています。