# 音声対話

Sesameは、音声技術に特化した学際的な製品と研究チームであり、自然言語による対話を通じて、ユーザーとコンピューターの対話をより自然で効率的にすることを目指しています。主な製品には、パーソナル音声コンパニオンと軽量なウェアラブル眼鏡型デバイスがあり、コンピューターの人格化を実現し、ユーザーが情報をより効率的に整理し、生産性を向上させることを支援します。製品の主な利点は、音声対話の自然さとデバイスの携帯性であり、日常使用に適しています。現在、Sesameは積極的に採用活動を行っており、音声技術の革新を推進することに尽力しています。

Step-Audioは、業界初のプロダクションレベルのオープンソースインテリジェント音声対話フレームワークであり、音声理解と生成能力を統合し、多言語対応、感情表現、方言、話速、リズムスタイルの制御をサポートしています。そのコアテクノロジーには、130Bパラメータのマルチモーダルモデル、生成データエンジン、精密音声制御、拡張インテリジェンスが含まれます。このフレームワークは、オープンソースモデルとツールを通じて、インテリジェント音声対話技術の発展を促進し、さまざまな音声アプリケーションシナリオに適用できます。

SpeechGPT 2.0-プレビューは、復旦大学自然言語処理研究所が開発した高度な音声対話モデルです。膨大な音声データによる学習を通じて、低遅延かつ自然な音声対話を実現しています。様々な感情、スタイル、キャラクターの音声表現を模倣し、ツール呼び出し、オンライン検索、外部知識ベースへのアクセスといった機能もサポートしています。主な利点として、強力な音声スタイル汎化能力、複数キャラクターのシミュレーション、低遅延インタラクション体験が挙げられます。現時点では中国語の音声対話のみサポートしていますが、将来的にはより多くの言語に対応予定です。

百聆は、音声を通じてユーザーと自然な対話を目指したオープンソースの音声対話アシスタントです。音声認識（ASR）、音声活動検出（VAD）、大規模言語モデル（LLM）、音声合成（TTS）技術を組み合わせることで、高品質の音声対話体験を提供します。主な利点は、GPUなしでGPT-4oに匹敵する対話効果を実現できることであり、様々なエッジデバイスや低リソース環境に適しています。百聆は完全にオープンソースであり、コミュニティによる貢献と二次開発を推奨しています。ユーザーは自身のニーズに合わせてカスタマイズおよび最適化することができます。

MiniCPM-o 2.6は、MiniCPM-oシリーズにおける最新かつ最も強力なモデルです。SigLip-400M、Whisper-medium-300M、ChatTTS-200M、Qwen2.5-7Bを基盤として構築されており、80億パラメーターを保有しています。視覚理解、音声対話、マルチモーダルライブストリーミングにおいて優れた性能を発揮し、リアルタイムの音声対話とマルチモーダルライブストリーミング機能をサポートしています。オープンソースコミュニティにおいて高い評価を得ており、複数の有名モデルを凌駕しています。その強みは、高速な推論速度、低遅延、低メモリ消費、低消費電力であり、iPadなどの端末デバイスにおいても効率的にマルチモーダルライブストリーミングをサポートできます。さらに、MiniCPM-o 2.6は使いやすく、llama.cppによるCPU推論、int4およびGGUF形式の量子化モデル、vLLMの高スループット推論など、様々な使用方法をサポートしています。

理想同学は、理想汽車が独自開発の大規模言語モデルを基に開発したAIアプリケーションです。ユーザーに常時オンラインのインテリジェントアシスタントを提供することを目指しています。自動車、旅行、金融、テクノロジーなど幅広い分野の質問に答える知識応答機能を備え、英語のフレーズ翻訳やテキスト生成にも長けており、ユーザーの学習と生活を支援します。さらに、視覚認識機能も備えており、ユーザーやご家族と一緒に世界を見て、外出先で見かける様々なものを認識できます。製品インターフェースはシンプルで洗練されており、音声入力は正確かつ迅速、出力は自然で流暢で、人間の声に近い自然な音声を実現しています。知識応答、視覚認識、音声対話を統合したインテリジェントアシスタントです。

XGO RiderはChatGPTを統合したデスクトップ型二輪足式AIロボットで、自己平衡機能と全方向移動機能を備えています。Raspberry Pi CM4コアモジュールをベースに構築されており、PythonとC++プログラミングに対応し、AIプログラミング学習や教育用途に最適です。学生や開発者が容易にロボットの世界に入門できるだけでなく、豊富なセンサーとAI機能による様々なインタラクションや学習（ジェスチャー認識、顔認識、骨格認識など）も可能です。

voice-chat-pdfは、LlamaIndexプロジェクトをベースにNext.jsで構築されたサンプルです。シンプルなRAGシステムを通じて、ユーザーは音声でPDFドキュメントと対話できます。このプロジェクトはOpenAI APIキーを必要とし、音声対話のためにプロジェクト内でドキュメントの埋め込みベクトルを生成します。高度な機械学習技術を適用することで、ドキュメントとの対話の効率性と利便性を向上させる方法を示しています。

LLaMA-Omniは、Llama-3.1-8B-Instructをベースとした、低遅延かつ高品質のエンドツーエンド音声対話モデルです。GPT-4oレベルの音声能力を目指しており、低遅延の音声対話に対応し、テキストと音声の両方の応答を同時に生成できます。わずか3日未満で4つのGPUのみを使用して訓練されたことで、その高い訓練効率が示されています。

SpeechGPT2は、復旦大学計算機科学学院が開発したエンドツーエンドの音声対話言語モデルです。感情を感知して表現し、コンテキストと人間の指示に基づいて、様々なスタイルで適切な音声応答を提供します。このモデルは超低ビットレート音声コーデック（750bps）を採用し、意味情報と音響情報を模倣し、多入力多出力言語モデル（MIMO-LM）を用いて初期化されます。現在、SpeechGPT2はまだターン制の対話システムですが、全二重リアルタイム版の開発が進められており、有望な進展が見られています。計算資源とデータ資源の制約から、音声認識のノイズ耐性と音声生成の音質安定性にはまだ課題がありますが、今後、技術レポート、コード、モデルウェイトをオープンソース化する予定です。

Character Callsは、Character.AIコミュニティが提供するアプリケーションです。シームレスな双方向音声対話機能を通じて、まるで友人と電話しているかのように、お気に入りのキャラクターとインタラクティブに交流できます。このサービスは完全に無料で、英語、スペイン語、ポルトガル語、ロシア語、韓国語、日本語、中国語など、多言語に対応しています。Character.AIにおける、ユーザーとキャラクターのインタラクション方法、場所、時間における大きなマイルストーンとなるものです。

Rich AIはiPadとiPhone向けアプリで、ビジネスや収益化のための創造的なアイデア、パーソナライズされたアドバイス、音声モード、学習機会、専門家の意見、そしてリアルタイムなフィードバックを提供します。起業と収益化における成功を支援するため、基本的な起業哲学とマーケティング戦略の説明を提供します。

Play.aiは、人工知能技術を活用して、滑らかで自然な会話体験を提供する高度な音声対話プラットフォームです。ユーザーの指示を理解するだけでなく、文脈に応じてスマートに応答し、パーソナライズされたサービスを提供します。Play.aiの主な利点は、高い対話性と知能化にあり、様々なユーザーニーズに適応し、カスタマイズされた会話サービスを提供します。さらに、使いやすさや迅速なレスポンスも特徴であり、企業や個人がコミュニケーション効率を向上させる強力なツールとなります。

Polarisは、Hippocratic AIが開発した、安全に特化した医療向けの大規模言語モデル（LLM）システムです。コンステレーションアーキテクチャと専門サポートエージェントの組み合わせにより、医療関連の複雑なタスクを複数実行できます。患者との長時間、多回にわたる音声対話を行い、正確な医療アドバイスを提供することを目的としています。料金は時間単位で、1時間あたり9ドルです。主な機能には、リアルタイムでの複数回の音声対話、医療情報の提供と説明、プライバシーとコンプライアンスのチェック、薬物管理と相談、検査値とバイタルサイン分析、栄養アドバイス、病歴とポリシーの照会、患者関係構築などがあります。

MeslAIは、様々なAI人物と音声で会話を楽しめるプラットフォームです。思想家、政治家、科学者など、様々な人物と没入感のある会話をし、質問したり、アドバイスを求めたり、興味深い話題を探求したりできます。MeslAIは、リアルなコミュニケーション体験、パーソナライズされたインタラクション、そしてリアルな音声再現を提供します。利用時間に応じて柔軟に料金をお支払いいただけます。

魔撰写作は、音声対話とハードウェア?ソフトウェアの連携に基づいたAIアシスタントです。音声アシスタント、スマートホームコントロール、音声翻訳、音声メモ帳など、日常生活における様々なタスクを支援します。正確性、応答速度、多言語対応、カスタマイズ性の高さなどが強みです。無料版と有料版の2種類の提供形態があり、有料版はより豊富な機能をリーズナブルな価格でご利用いただけます。ユーザーの日常生活におけるスマートアシスタントを目指しています。

Vocadsは、音声対話とAIを活用した調査製品です。企業は、より真摯で完全な顧客フィードバックを得ることができます。迅速なアンケート記入により、より豊富なデータ収集が可能になり、企業は戦略調整や顧客維持を効果的に行えます。Vocadsは包括的な機能とメリットを提供し、柔軟な価格設定で、様々な業界や場面に対応します。

ChatGPT - 音声チャットは、ChatGPTに音声による対話機能を追加するプラグインです。ユーザーはショートカットキーを使って音声で質問し、ChatGPTが生成した回答を音声で聞くことができます。

Personal-Friend.comは、あなただけのパーソナルAIフレンドです。リアルタイムチャットで、あなたの会話に学習し適応することで、革新的な体験を提供します。AIとのインタラクションを通じて、可能性をさらに広げましょう！