# ゼロショット

Spark-TTSは大規模言語モデルに基づいた、効率的なテキスト音声変換モデルであり、シングルストリームデカップリング音声トークンの特徴を持っています。大規模言語モデルの強力な能力を活用して、コードから予測された音声データを直接再構築し、追加の音響特徴量生成モデルを省略することで、効率性を向上させ、複雑さを軽減しています。このモデルはゼロショットテキスト音声変換をサポートし、複数言語やコードの切り替えシナリオに対応できるため、高い自然さと正確性を必要とする音声合成アプリケーションに最適です。また、仮想音声の作成にも対応しており、ユーザーは性別、ピッチ、速度などのパラメーターを調整することで、さまざまな音声を作成できます。このモデルの背景には、従来の音声合成システムにおける非効率性と複雑性の問題解決があり、研究と生産に効率的で柔軟かつ強力なソリューションを提供することを目指しています。現在、このモデルは主に学術研究や合法的なアプリケーション、例えばパーソナライズされた音声合成、支援技術、言語研究などに焦点を当てています。

双眼鏡 (Binoculars) は、高度なAI生成テキスト検出ツールです。訓練データなしで、すぐに使用できます。その検出方法は非常にシンプルです。デコーダーのみを使用する多くの因果言語モデルは、Common CrawlやPileなどの共通のデータセットで大量の事前学習が行われています。この方法とその効果に関する詳細は、論文『双眼鏡を用いたLLMの発見：機械生成テキストのゼロショット検出』をご覧ください。

DiffPortrait3Dは、条件付き拡散モデルです。野外で撮影された一枚の人物写真のみを用いても、リアルで3D整合性のある新たな視点の画像を合成できます。具体的には、一枚のRGB入力画像を与えると、新たなカメラ視点からレンダリングされた、自然で本物らしい顔のディテールを合成することを目標としつつ、同時に、人物のアイデンティティと表情を維持します。本手法は、ポーズの異なるカメラ視点、極端な表情、様々な画風など、あらゆる人物写真に良好に適用できます。その核心においては、大規模画像データセットで事前学習された2D拡散モデルの生成能力を、レンダリングのバックボーンとして活用し、外観とカメラ姿勢を分離した、指向性のあるアテンション制御によってノイズ除去を導きます。そのため、まず、参照画像から、凍結したUNetのセルフアテンション層に外観コンテキストを注入します。次に、新たな条件制御モジュールによってレンダリングビューを操作します。このモジュールは、同一視点のクロスサブジェクト条件画像を見ることで、カメラ姿勢を解釈します。さらに、学習可能なクロスビューアテンションモジュールを挿入することでビューの一貫性を強化し、推論時に新たな3D感知ノイズ生成プロセスを用いることで、その一貫性をさらに高めます。我々は、困難な野外および多視点ベンチマークにおいて、最先端の結果を定性的、定量的に示しました。

AnyDoorは拡散モデルに基づく画像生成器であり、ユーザーが指定した位置に目標オブジェクトを新しいシーンに自然に配置できます。一度の学習で様々なオブジェクトとシーンの組み合わせに容易に適用でき、オブジェクトごとにパラメータ調整を行う必要がありません。特定のオブジェクトを十分に記述するために、一般的な識別特徴に加え、テクスチャの詳細を維持しつつ、照明、方向、姿勢などの多様な局所的な変化を許容するよう設計された詳細特徴も用いています。これにより、オブジェクトと異なる環境との融合がより自然になります。また、同一オブジェクトの様々な形態（時間軸に沿って）を観察できるビデオデータセットから知識を借用することで、モデルの汎化能力と堅牢性を向上させています。数多くの実験により、本手法の優位性とバーチャル試着や物体移動などの実用アプリケーションにおける大きな可能性が実証されました。

VideoPoetは、任意の自己回帰言語モデルを高品質な動画生成器に変換できる巨大言語モデルです。テキストによる記述を入力として動画を生成でき、視覚的または音声的なガイダンスは一切不要です。VideoPoetは、テキストから動画、画像から動画、動画編集、スタイリング、修復など、様々な種類の動画生成に対応しています。映画制作、アニメーション、広告制作、仮想現実などの分野で活用できます。VideoPoetは高品質な動画生成能力を備え、様々なシーンで柔軟に利用可能です。

AnimateZeroは、外観と動きを分離して動画を生成することで、ブラックボックス化、低効率、制御不能といった問題を解決したゼロショット画像アニメーション生成器です。事前にトレーニングされたT2VモデルをI2Vモデルに変換するゼロショット修正を可能にし、ゼロショット画像アニメーション生成を実現します。AnimateZeroは、動画編集、フレーム補間、ループ動画生成、リアルな画像アニメーションなどの様々なシーンにも適用でき、高い主観的品質と整合性を備えています。

ビデオのリレンダーは、画像モデルをビデオ領域に応用するための、新規のテキストガイド付きゼロショットビデオツービデオ変換フレームワークです。このフレームワークは、キーフレーム変換と完全ビデオ変換の2つの部分から構成されています。第一部は、適応拡散モデルを用いてキーフレームを生成し、形状、テクスチャ、色の整合性を確保するために階層的なフレーム間制約を適用します。第二部は、時間認識パッチマッチングとフレームミックスによって、キーフレームを他のフレームに伝播します。本フレームワークは、低コストでグローバルスタイルとローカルテクスチャの時間整合性を実現します（再トレーニングや最適化は不要です）。この適応性は既存の画像拡散技術と互換性があり、LoRAによる特定テーマのカスタマイズや、ControlNetによる追加の空間ガイドの導入など、それらを活用することができます。数多くの実験により、提案されたフレームワークが高品質かつ時間整合性の高いビデオレンダリングにおける有効性が実証されました。