# テキストプロンプト

PromptFixは、拡散モデルが人間の指示に従って様々な画像処理タスクを実行できるようにする包括的なフレームワークです。大規模な指示従順データセットを構築し、高周波数ガイド付きサンプリング手法を提案してノイズ除去プロセスを制御し、補助プロンプトアダプターを設計して視覚言語モデルを用いてテキストプロンプトを強化することで、モデルのタスク汎化能力を高めています。PromptFixは、様々な画像処理タスクにおいて従来の方法を上回る性能を示し、ブラインドリストアおよび合成タスクにおいて優れたゼロショット能力を発揮します。

Mochi 1は、Genmoが開発した最先端のオープンソースAI動画ジェネレーターです。クリエイターは、テキストや画像のプロンプトを使用して、高品質でリアルな動画を生成できます。Mochi 1は、優れたプロンプトへの追従性と滑らかな動きで、AI動画生成を誰もが簡単に利用できるようにします。業界の他のモデルと競合することを目指し、クリエイターにより多くの制御と優れた視覚的な成果を提供します。

Hallo2は、潜在拡散生成モデルに基づく人物画像アニメーション技術です。音声駆動により、高解像度で長時間のビデオを生成します。複数の設計改良を取り入れることで、Halloの機能を拡張し、長時間のビデオ生成、4K解像度のビデオ生成、テキストプロンプトによる表情制御の強化などを実現しました。Hallo2の主な利点としては、高解像度出力、長時間における安定性、テキストプロンプトによる制御性の向上といった点が挙げられ、多様で豊かな肖像アニメーションコンテンツの生成において顕著な優位性を持ちます。

TIP-Editorは、テキストと画像プロンプト、そして3Dバウンディングボックスを用いて、編集領域の外観と位置を正確に制御できる正確な3Dエディターです。既存のシーンと参照画像の表現をより適切に学習するために、段階的な2Dパーソナライゼーション戦略を採用し、ローカル編集によって正確な外観制御を実現します。TIPEditorは、背景を変えずに局所編集を行うために、明確で柔軟な3Dガウシアン?スプラッシュを3D表現として利用しています。多くの実験により、TIP-Editorはテキストと画像プロンプトに基づいて指定されたバウンディングボックス領域内で正確な編集を行い、編集品質とプロンプトとの整合性において、定性的にも定量的にもベースラインを上回ることが実証されています。

スコア蒸留サンプリング（SDS）は、テキストプロンプトを用いた最適化問題を制御するために画像拡散モデルを利用する、最近広く普及している手法です。本論文ではSDS損失関数を詳細に分析し、その定式化における固有の問題点を特定し、驚くほど効果的な修正手法を提案しています。具体的には、損失を様々な要因に分解し、ノイズ勾配を生じる成分を分離しました。元の定式化では、ノイズを考慮するために高いテキストガイダンスを用いていましたが、これは望ましくない副作用を引き起こしていました。これに対し、我々は画像拡散モデルの時間ステップ依存的なノイズ除去不十分さを効果的に分離するために、浅層ネットワークを訓練してこれを模倣しました。最適化に基づく画像合成と編集、ゼロショット画像変換ネットワークの訓練、テキストから3Dへの合成など、複数の定性的および定量的実験を通じて、我々の新規な損失定式化の多様性と有効性を示しました。

MagicAvatarは、テキスト、ビデオ、音声など様々な入力モードをモーション信号に変換することで、アバターの生成／アニメーションを行う多モーダルフレームワークです。シンプルなテキストプロンプトからアバターを作成したり、与えられたソースビデオに基づいて、指定された動きに従ったアバターを作成したりできます。さらに、特定のテーマのアバターをアニメーション化することも可能です。MagicAvatarの強みは、複数の入力モードを組み合わせることで、高品質のアバターとアニメーションを生成できる点にあります。

ImageToPromptAIは、画像をテキストプロンプトに変換できるAIツールです。ユーザーは画像をアップロードして一連のテキストプロンプトを作成すると、AIが画像に基づいて適切なテキスト記述を生成します。このツールはStable Diffusionで使用し、比較可能な画像／絵画のバリエーションを作成できます。ユーザーは必要に応じて様々なプランを選択でき、サブスクリプションは不要です。

Gen-2は、テキスト、画像、またはビデオクリップから斬新なビデオを生成できるマルチモーダルAIシステムです。画像またはテキストプロンプトの構図とスタイルをソースビデオの構造に適用する（ビデオからビデオ）か、テキストのみを使用する（テキストからビデオ）ことで実現します。まるで新しいコンテンツを撮影したかのように見えますが、実際には何も撮影していません。Gen-2は、あらゆる画像、ビデオクリップ、またはテキストプロンプトを魅力的な映像作品に変換できる様々なモードを提供します。

Img2promptは、画像からテキストプロンプトを生成するモデルです。OpenAI CLIPモデルとBLIPキャプションを使用して、与えられた画像を様々なアーティスト、メディア、スタイルと比較し、類似した画像を作成するためのテキストプロンプトを提供します。これらのテキストプロンプトはStable Diffusionなどで使用できます。