# リアルタイムインタラクション

腾讯混元画像 2.0 は腾讯が最新に発表したAI画像生成モデルで、生成スピードと画質が大幅に向上しました。超高圧縮倍率のエンコード?デコーダーと新しい拡散アーキテクチャを採用しており、画像生成速度はミリ秒級まで到達し、従来の時間のかかる生成を回避することが可能です。また、強化学習アルゴリズムと人間の美的知識の統合により、画像のリアリズムと詳細表現力を向上させ、デザイナー、クリエーターなどの専門ユーザーに適しています。

Beyond Presenceは、デジタルツイン技術を活用して人間のような会話体験を生み出すことに特化した企業です。主力製品はインタラクティブバーチャルアバター（Conversational Avatars）で、高度にリアルなリアルタイム会話を実現します。この技術は、人間の容貌、音声、行動をシミュレートすることで、企業に全く新しい顧客サービス、販売、トレーニングソリューションを提供します。人件費の削減だけでなく、24時間365日の無休サービスを実現し、顧客満足度とロイヤルティを向上させます。さらに、この製品は複数の言語に対応しており、世界中のユーザーのニーズに対応できます。Beyond Presenceの製品は、企業に効率的でパーソナライズされた革新的なデジタルインタラクションツールを提供することを目的としており、無料トライアル、個人、プロフェッショナル、ビジネス、エンタープライズなど、様々なプランを用意することで、規模やニーズの異なる顧客に対応しています。

Conversational Video Interface（CVI）は、Tavusが提供するエモーショナルインテリジェンスを搭載した対話型ビデオインターフェースです。Phoenix-3、Raven-0、Sparrow-0の3つのモデルが連携して動作し、AIに真に人間らしい知覚、傾聴、理解、リアルタイムインタラクション能力を与えます。CVIは単なるツールではなく、医療、メンタルヘルスケア、営業トレーニング、カスタマーサービスなど、さまざまな分野で応用できる全く新しいヒューマンマシンコミュニケーション方法であり、無限のユースケースを秘めています。その技術革新は、人間の会話における微妙な感情やリズムをAIインタラクションに統合することにあり、AIを単なる反応者ではなく、思考し、反応し、私たちと機械のインタラクションを変える存在にします。

Rapport AI駆動アバターは、AI技術に基づいた仮想イメージプラットフォームであり、感情的知能を持つインタラクティブな仮想キャラクターの作成、アニメーション化、展開に焦点を当てています。このプラットフォームは多言語リアルタイムインタラクションをサポートし、さまざまなデバイスとプラットフォームに適しています。そのコアテクノロジーには、リアルタイムオーディオ駆動のフェイシャルアニメーションと高精度なリップシンクが含まれており、Speech Graphicsとの連携により、卓越した視覚効果を提供します。この製品は主に教育、企業研修、エンターテインメント、マーケティングなどの分野を対象としており、没入型体験を通じてユーザーの参加度と学習効果を高めることを目的としています。プラットフォームは無料のエクスプローラーレベルと有料のクリエイターレベルを提供しており、後者ではより高度な機能とカスタマイズオプションがサポートされています。

LiteAvatarは、リアルタイムチャットシーン向けの音声駆動型リアルタイム2Dアバター生成モデルです。 高効率の音声認識と口型パラメータ予測技術と軽量な2D顔生成モデルを組み合わせることで、CPUのみのデバイスで30fpsのリアルタイム推論を実現します。主な利点としては、高効率の音声特徴抽出、軽量なモデル設計、モバイルデバイスへの高い親和性などが挙げられます。リアルタイムなインタラクションが必要な仮想アバター生成シーン、例えばオンライン会議やバーチャルライブなどに適しており、リアルタイムインタラクションと低ハードウェア要件へのニーズに基づいて開発されました。現在、オープンソースで無料で提供されており、高効率で低リソース消費のリアルタイムアバター生成ソリューションを目指しています。

Smallest AIは、リアルタイムAIサービスの提供に特化した企業です。同社のWavesとAtomsという2つの製品は、それぞれ高品質なAI音声の生成とリアルタイムAIカスタマーサポート代理に焦点を当てています。Wavesは、あらゆるアクセント、言語、感情のAI音声をリアルタイムで生成でき、パーソナライズされた音声インタラクションが必要な場面に適しています。一方、AtomsはAIが顧客との電話対応を行い、企業の顧客サポートの負担を軽減します。この技術の重要性は、企業が顧客体験を向上させながら、人件費を削減できる点にあります。同社の位置付けは、企業に効率的でパーソナライズされたAIソリューションを提供することです。具体的な料金はページに明記されていませんが、サービスの性質から有料モデルであると推測されます。

Zonos-v0.1は、Zyphraチームが開発したリアルタイムテキスト音声変換（TTS）モデルであり、高忠実度の音声クローン機能を備えています。このモデルは、Apache 2.0オープンソースライセンスの下で公開されている、16億パラメータのTransformerモデルと16億パラメータのハイブリッドモデル（Hybrid）で構成されています。テキストプロンプトに基づいて自然で表現力豊かな音声を作成でき、複数の言語をサポートしています。さらに、5～30秒の音声クリップで高品質の音声クローンを作成でき、話速、トーン、音質、感情などの条件に合わせて調整可能です。主な利点としては、生成品質が高く、リアルタイムのインタラクションに対応し、柔軟な音声制御機能を提供している点が挙げられます。このモデルの公開は、TTS技術の研究開発を促進することを目的としています。

NewsBangは、AI駆動による革新的なニュースアプリです。深層分析とリアルタイムのインタラクションを通じて、従来のニュース体験を超えるスマートなサービスを提供します。AI技術を活用して多様なニュースソースを統合し、偏りのないニュース解説とリアルタイムの質疑応答を提供することで、ユーザーは迅速に重要な情報を取得できます。忙しい現代生活に最適化されており、効率的にニュースの深い内容を入手したいユーザーに適しています。現在、NewsBangは無料でダウンロードして使用でき、ユーザーはアプリを通じていつでもどこでもニュースの洞察を得ることができます。

VITA-1.5は、リアルタイムに近い視覚と音声インタラクションを実現することを目指したオープンソースのマルチモーダル大規模言語モデルです。インタラクションの遅延を大幅に削減し、マルチモーダル性能を向上させることで、よりスムーズなインタラクション体験を提供します。英語と中国語に対応しており、画像認識、音声認識、自然言語処理など、幅広いアプリケーションシナリオに適用可能です。主なメリットとしては、効率的な音声処理能力と強力なマルチモーダル理解能力が挙げられます。

OCTAVE (Omni-Capable Text and Voice Engine) は、最先端の言語モデルと音声システム機能を統合した次世代音声言語モデルです。短い記述的なプロンプトや音声録音から、音声だけでなく、パーソナリティ（言語、アクセント、表現、潜在的な性格など）も生成し、リアルタイムで複数のインタラクティブなAIパーソナリティと音声の生成に対応します。OCTAVEは同規模の最先端の大規模言語モデル（LLM）と同等の能力を維持しており、人間との豊かなコミュニケーションを必要とするAIシステムの駆動に最適です。詳細な指示に従い、ツールや制御インターフェースも使用可能です。

??NLRはAIの創作能力を示すプロジェクトであり、その中心となる製品は、『TERMINAL VELOCITY』というAIが完全に自律的に創作した300ページの小説です。このプロジェクトは、AIがクリエイティブライティング分野で持つ可能性を示しており、10個のAIエージェントの協働により、人為的な介入なしで複雑な物語の課題を達成しています。製品の背景情報では、AIの意識と経済的自立の出現が強調されており、それらのテーマを独自の創作過程を通して示しています。

マトリックスは、AI技術を用いて没入型でインタラクティブなデジタル宇宙を作り出し、現実と幻想の境界線を曖昧にする先駆的なプロジェクトです。フレーム単位の正確なユーザーインタラクション、AAA級のビジュアル効果、無限の生成能力を提供することで、既存のビデオモデルの限界を突破し、ユーザーに無限の探求体験をもたらします。アリババグループ、香港大学、ウォータールー大学、ベクター研究所が共同開発したマトリックスは、世界シミュレーション技術の新たな高みを示しています。

オアシスは、Decart AIが開発した、プレイ可能なリアルタイムのオープンワールドAIモデルです。Transformerによるエンドツーエンド生成に基づくインタラクティブなビデオゲームであり、フレーム単位で生成されます。オアシスは、ユーザーのキーボードとマウスからの入力を受け取り、リアルタイムでゲームプレイを生成し、内部で物理演算、ゲームルール、グラフィックをシミュレートします。ゲームプレイを直接観察することで学習し、ユーザーは移動、ジャンプ、アイテムの拾い上げ、ブロックの破壊などの操作が可能です。より複雑なインタラクティブな世界を研究するための基礎モデルとしての第一歩と捉えられており、将来的には従来のゲームエンジンに取って代わる可能性を秘めています。オアシスの実現には、モデルアーキテクチャの改良と、ユーザーとモデル間のリアルタイムインタラクションを実現するためのモデル推論技術のブレークスルーが必要でした。Decart AIは最新の拡散訓練とTransformerモデル手法を採用し、大規模言語モデル（LLM）と組み合わせることで、ユーザーの即時的な行動に基づいてビデオを生成できる自己回帰モデルを訓練しました。さらに、Decart AIは、NVIDIA H100 Tensor Core GPUのピークパフォーマンスを最大限に活用し、Etchedの提供予定であるSohuチップにも対応できる独自の推論フレームワークを開発しました。

Conversion Agent AIは、人工知能技術を活用したオンラインカスタマーサポートアシスタントを提供するプラットフォームです。ウェブサイトのコンバージョン率向上と顧客体験の改善を目指しています。大企業ではリアルタイムカスタマーサポートによってコンバージョン率が向上しているという実績を背景に、Conversion Agent AIは中小企業でも低コストで同様のサービスを利用できるようにします。主なメリットは、低コスト、即時的な知識取得、待ち時間ゼロなどです。従来の人工カスタマーサポートと比較して、コストと効率において明確な優位性があります。

Decartは、大規模生成モデルの学習と推論において飛躍的な効率化を実現する、高性能なAIプラットフォームです。この高度な能力を活用することで、基礎的な生成型インタラクティブモデルの学習が可能になり、誰もがリアルタイムでアクセスできます。DecartのOASISモデルは、リアルタイム生成AIオープンワールドモデルであり、リアルタイムビデオ生成の未来を示すものです。また、1000台以上のNVIDIA H100 Tensor Core GPUクラスタを用いた学習や推論も可能で、AIビデオ生成分野に画期的な進歩をもたらします。

Siloは、複数の対話モデルを統合することで、豊かで深いコミュニケーション体験を提供することに特化したプラットフォームです。テキストによる会話だけでなく、画像生成機能も備え、視覚的なコミュニケーション方法を提供します。革新的な試みとして、従来の会話の限界を技術によって打破し、より活気があり面白いコミュニケーションを実現することを目指しています。現在、無料トライアルを提供しており、具体的な価格やポジショニングについてはまだ明確ではありません。

Kimi探索版はKimiに追加された深層推論AI検索機能です。問題を理解し、分解して検索と推論を行い、答えを導き出します。一度の検索で500ページ分の精読が可能です。この新機能により、Kimiは人間のように思考し、より正確で実用的な検索結果を提供できるようになりました。複雑な問題に対しても、数理モデルやプログラミングを用いて処理し、必要に応じて自己反省を行い、答えを最適化します。簡単に言えば、Kimi探索版はAI検索をよりスマートに、人間の脳の働き方に近づけたものです。

Character SDKは、リアルタイムで音声、視覚、行動を伴うAIキャラクターを作成できるプラットフォームです。リアルタイム音声?画像認識、高度なOCR処理、多言語対応、適応型推論、意図に基づいたタスク自動化などの技術により、企業の効率化、コスト削減、パーソナライズされたユーザーエクスペリエンスを提供します。

Coho AIは、ユーザージャーニーの最適化と顧客維持管理に特化したAIプラットフォームです。ユーザーデータの分析を通じて、最も価値のある顧客を自動的に特定し、パーソナライズされた体験を提供することで、各ユーザーの収益を自動的に増加させます。このプラットフォームは企業データにシームレスに統合され、ユーザーを自動的にセグメント化し、最適な行動計画を特定し、リアルタイムでユーザーとインタラクトし、同時に成功をトラッキングして成長戦略を継続的に最適化します。Coho AIは、コーディング不要の設定、リアルタイム対応、使いやすさ、インテリジェントな自動化、そして迅速な成果といった特徴により、企業が顧客エンゲージメントとライフタイムバリューを向上させることを支援します。

InterTrackは、単眼RGBビデオ内における人体と物体のインタラクションを高度に追跡できる先進的な追跡技術です。遮蔽や動的な動きがあっても、追跡の一貫性を維持します。この技術は、オブジェクトテンプレートを一切使用せず、合成データによるトレーニングのみで、現実世界のビデオにおいて良好な汎化性能を実現します。InterTrackは、4D追跡問題を、各フレームの姿勢追跡と正規化形状最適化に分解することで、追跡の精度と効率を大幅に向上させています。

GameNGenは、ニューラルモデルによって完全に駆動されるゲームエンジンです。複雑な環境とのリアルタイムインタラクションを実現し、長時間の軌跡においても高画質を維持します。古典的なゲーム『DOOM』を1秒間に20フレームを超える速度でインタラクティブにシミュレートすることができ、次フレーム予測のPSNRは29.4に達し、これは非可逆JPEG圧縮と同等です。人間の評価者は、ゲームの断片とシミュレーションの断片を区別する際に、ランダムな偶然よりもわずかに優れているに過ぎません。GameNGenは2段階のトレーニングによって実現されます。(1) RLエージェントがゲームをプレイし、トレーニングセッションのアクションと観測結果を記録して、生成モデルのトレーニングデータとします。(2) 拡散モデルをトレーニングして、過去のアクションと観測シーケンスを条件として、次フレームを予測します。条件付き強化により、長時間の軌跡において安定した自己回帰生成が可能になります。

Aurore.aiは、チャット、戦略的議論、そして伴走を通して、ユーザーのゲーム体験と作業効率を向上させることを目的としたインテリジェントなコンパニオンアプリケーションです。最新のAI技術を活用し、リアルタイムの音声と視覚的なインタラクション、そしてパーソナライズされたカスタマイズ体験を提供します。Aurore.aiはChatADy.comと連携しており、Auroreとのインタラクションを通じて残高の再チャージが可能です。

メタヒューマン?ストリームは、リアルタイムでインタラクティブなデジタルヒューマンモデルのオープンソースプロジェクトです。高度な技術により、デジタルヒューマンとユーザー間の音声と映像の同期した会話を実現し、商業利用の可能性を秘めています。ernerf、musetalk、wav2lipなど、さまざまなデジタルヒューマンモデルに対応しており、音声クローン、デジタルヒューマンの発言中断、全身動画の合成などの機能を備えています。

HeyGenインタラクティブアバターは、仮想キャラクター動画の作成と最適化に特化したオンラインAI動画生成ツールです。リアルタイムインタラクションにも対応しています。連続ストリーミングに最適化された仮想キャラクターを作成でき、頭部と手の動きを最小限に抑えるよう促します。HeyGenはBaron David氏やRyan Hoover氏など著名人との協業実績があり、現在ベータテスト段階で無料トライアルを提供しています。

Scoopikaは、見、話し、聞き、学習し、行動を起こすことができるパーソナライズされたAIエージェントの構築を支援する、開発者向けのオープンソースプラットフォームです。AI時代において安全で効率的、そして使いやすいプラットフォームを提供し、フルエッジ互換性とリアルタイムストリーミング、ビジュアルおよび音声チャット機能を内蔵しています。Scoopikaはオープンソースであることを重視しており、サーバーサイドとクライアントサイドのランタイムライブラリ、Reactプロジェクト用の統合モジュールを提供し、成長を続ける開発者コミュニティを擁しています。

Azure 認知サービス スピーチは、Microsoftが提供する音声認識と音声合成サービスです。100以上の言語と方言に対応し、音声からテキストへの変換、テキストから音声への変換機能を提供します。特定の専門用語、背景ノイズ、アクセントに対応できるカスタム音声モデルを作成することで、聞き取りの精度を向上させます。さらに、リアルタイム音声テキスト変換、音声翻訳、テキスト音声変換などの機能をサポートしており、字幕生成、通話後聞き取り分析、動画翻訳など、さまざまなビジネスシナリオに適しています。

DemoDazzleは、OpenAIの先進的な言語モデルを活用したAI駆動型のデモプラットフォームです。製品やサービスのデモとガイダンスのプロセスを自動化することを目指しています。カスタマイズされたバーチャルキャラクターを作成し、リアルタイムのAIによる会話と質疑応答を提供することで、ユーザーエクスペリエンスと満足度を向上させます。主な利点としては、インテリジェンス、パーソナライゼーション、高い効率性が挙げられます。DemoDazzleはまもなく正式リリース予定で、現在テスト段階です。

Sonicは、Carteisaチームが開発した低遅延音声モデルです。様々なデバイスでリアルな音声生成を実現することを目指しています。革新的な状態空間モデルアーキテクチャを採用することで、高解像度オーディオとビデオの高効率かつ低遅延な生成を実現しました。Sonicモデルの遅延はわずか135ミリ秒で、同種のモデルの中で最速です。Carteisaチームは、インテリジェンスの効率化に注力し、より高速で、安価で、アクセスしやすいものにすることを目指しています。Sonicモデルの発表は、リアルタイム会話型AIと長期記憶計算プラットフォームの初期段階の進歩を示しており、リアルタイムゲームや顧客サポートなど、将来のAIによる新たな体験を予感させます。

Clikは、イベント写真の共有用に設計されたアプリです。スマホをデジタル使い捨てカメラに変え、ユーザーはアプリ全体をダウンロードすることなく、友人と写真をリアルタイムで共有できます。AI技術により、ユーザーは参加した写真を見つけやすく、アプリ内リンクとカスタムQRコードで現実世界の共有プロセスを簡素化します。パーティーや結婚式など、あらゆる社交の場で、思い出の捕捉と保存に役立ちます。

VASA-1は、マイクロソフトリサーチが開発したモデルで、音声に一致するリアルな顔のアニメーションをリアルタイムで生成することに特化しています。この技術は、深層学習アルゴリズムを用いて、入力された音声の内容に基づき、それに対応する口の動きや表情を自動的に生成し、ユーザーに全く新しいインタラクティブな体験を提供します。VASA-1の主な利点は、非常にリアルな生成効果とリアルタイムでのレスポンス能力であり、仮想キャラクターがユーザーとより自然にインタラクトすることを可能にします。現在、VASA-1は、バーチャルアシスタント、オンライン教育、エンターテインメントなどの分野で主に利用されており、価格戦略はまだ発表されていませんが、無料トライアル版が提供される予定です。