# 監視

fixaは、AI音声代理のテストと可観測性に特化したプラットフォームです。開発者や企業が音声代理における問題を迅速に発見?解決することを支援します。自動化されたテスト、本番環境の監視、エラー検出などの機能により、音声代理の安定性と信頼性を確保します。Y Combinatorの支援を受け、シンプルで分かりやすい価格体系を提供しており、あらゆる規模の企業にご利用いただけます。

RAG-loggerは、検索拡張生成（Retrieval-Augmented Generation、RAG）アプリケーション用に設計されたオープンソースのログツールです。軽量で、RAG特有のログニーズに対応するオープンソースの代替手段であり、クエリ追跡、検索結果の記録、LLMとのやり取りの記録、段階的なパフォーマンス監視など、RAGアプリケーションに包括的なログ記録機能を提供することに重点を置いています。JSONベースのログ形式を採用し、日次ログの整理、自動ファイル管理、メタデータの充実化をサポートしています。RAG-loggerは、オープンソース、軽量、RAGアプリケーションに特化しているという特性から、開発者がRAGアプリケーションのパフォーマンスを監視および分析するための効果的なツールを提供します。

LangWatchは、大規模言語モデル（LLM）用に設計された監視、評価、最適化プラットフォームです。科学的な手法を用いてLLMの品質を測定し、最適なプロンプトとモデルを自動的に探し出し、直感的な分析ダッシュボードを提供することで、AIチームが10倍の速度で高品質な製品を提供できるよう支援します。LangWatchの主な利点としては、手動による最適化プロセスの削減、開発効率の向上、製品品質と安全性の確保、エンタープライズレベルのデータ制御とコンプライアンスのサポートなどが挙げられます。製品の背景情報として、LangWatchはStanfordのDSPyフレームワークを活用しており、数週間ではなく数分で適切なプロンプトやモデルを見つけ出し、概念実証から本番環境への移行を加速します。

Archは、プロンプト処理用に設計されたオープンソースのゲートウェイです。高速な大規模言語モデル（LLM）を活用してプロンプトを処理し、バックエンドシステムとシームレスに統合します。Envoyを基盤としており、あらゆるアプリケーション言語に対応し、迅速なデプロイと透過的なアップグレードを提供します。トラフィック管理、フロントエンド/エッジゲートウェイ、監視、エンドツーエンドのトレーシングなど、さまざまな機能を提供し、開発者が迅速で堅牢、そして個性的なGenAIアプリケーションを構築するのを支援します。

VoceraはY Combinator支援のAI音声代理テストと監視プラットフォームです。様々なシナリオをシミュレートし、リアルオーディオを使用してAI音声代理のパフォーマンスをテスト?評価できます。迅速なテスト開始、AI代理の運用開始までの時間短縮、リアルタイム監視とパフォーマンス分析によるシームレスなユーザー体験の確保が主な利点です。医療や法律など、コンプライアンス要件の高い業界における企業や開発者、特にAI音声代理の迅速な作成とテストが必要なユーザーに適しています。

Editor Usageは、macOS向けメニューバーアプリケーションです。Cursorエディタの使用状況を監視?管理することで、ユーザーを支援します。高度なリクエスト、一般的なリクエスト、特殊なリクエストの使用状況を追跡し、使用制限に近づくと警告を表示します。メニューバーから残りのリクエスト数をすばやく確認できるため、使用状況を常に把握し、制限超過による影響を回避できます。主な利点には、詳細な使用状況監視、カスタマイズ可能な警告設定、迅速かつ簡単なアクセスなどがあります。複数のプロジェクトを管理するユーザーや、リクエストの使用状況をリアルタイムで監視したいユーザーに最適です。

Temperstackは、企業向けのプロアクティブなSREプラットフォームであり、SREの反復作業を削減し、サービスの信頼性を向上させることを目的としています。サービスカタログの自動化、アラート監査、監視ツール全体のSLIレポートを通じて、CTOからSREエンジニアまでのチームに可視性を提供し、問題を事前に特定し、協調を促進します。Temperstackは一般的な監視ツールと統合され、包括的なSREの可視性とアクションを実現するための統一されたコマンドインターフェースを提供します。

StatusSightはシステムの状態をリアルタイムで監視するツールであり、企業がサービスの稼働状況を迅速に把握するのに役立ちます。直感的なダッシュボードを提供し、ユーザーは各種指標を簡単に追跡して、システムの高可用性とパフォーマンスを確保できます。あらゆる規模の企業に適しており、カスタマイズ可能な構成で、様々なニーズに対応します。このツールは通常、サブスクリプション方式で課金され、価格は必要な機能によって異なります。

Helicone AIは、ログ記録、監視、デバッグに特化した、開発者向けのオープンソースプラットフォームです。ミリ秒単位の遅延の影響、100％のログカバレッジ、業界最速のクエリ時間を実現しており、本番環境のワークロード向けに設計されています。Cloudflare Workersにより低遅延と高信頼性を確保し、SDKのインストール不要で、ヘッダー情報のみを追加するだけで全ての機能にアクセスできるため、リスクなく実験を行うことができます。

Evidently AIは、機械学習モデルの監視に使用されるオープンソースのPythonライブラリです。RAGからAIアシスタントまでのLLM駆動製品の評価をサポートします。データドリフト、データ品質、本番MLモデルのパフォーマンスの監視を提供し、2000万回以上のダウンロード数と5000以上のGitHubスターを獲得しており、機械学習分野で信頼できる監視ツールです。

Hammingは、開発から本番環境までを網羅するエンドツーエンドのAI音声代理テストプラットフォームです。音声ロールを用いて数千もの同時通話を自動生成することで、音声代理におけるバグのテストと発見を行い、テスト効率を大幅に向上させます。さらに、Hammingはプロンプト管理、オプティマイザー、プレイグラウンドを提供し、最適化されたプロンプトの自動生成や、データセット上でのLLM出力のテストを支援します。また、Hammingはアクティブモニタリング機能を備え、本番環境におけるAIアプリケーションの使用状況を追跡?評価し、注意が必要なケースを特定します。

Langtraceは、トレースとメトリクスの収集と分析を行い、大規模言語モデル（LLM）アプリケーションのパフォーマンス向上を支援するオープンソースのオブザーバビリティツールです。OpenTelemetry標準トレースをサポートし、自己ホスティング可能で、ベンダーロックインを回避します。Langtraceはエンドツーエンドのオブザーバビリティを提供し、RAGやファインチューニングモデルを含む、機械学習プロセスの全体像を把握するのに役立ちます。さらに、Langtraceはフィードバックループの構築もサポートし、トレースされたLLMインタラクションからゴールドデータセットを作成することで、AIアプリケーションの継続的なテストと強化を可能にします。

GPT認証は、安全なGPT認証と監視プラットフォームです。GPT開発者は、このプラットフォームを利用することで、GPTモデルにユーザー認証システムを簡潔かつ迅速に追加し、ユーザーの問い合わせをリアルタイムで監視することで、不正アクセスからGPTを保護することができます。このプラットフォームは、コード不要の使いやすいソリューションを提供しており、あらゆるレベルの開発者が強力なセキュリティ認証を簡単に設定できます。

Athina AIは、大規模言語モデル（LLM）の監視とデバッグを行うツールです。本番環境におけるLLMモデルの幻覚やエラーの発見と修正を支援し、詳細な分析と改善策を提供します。様々なLLMモデルに対応しており、カスタマイズ可能な評価により、多様な使用シナリオに対応できます。エラー出力の検出、コストと精度の分析、モデル出力のデバッグ、対話内容の調査、異なるモデルのパフォーマンス比較などが可能です。

Ramen AIは、LLMベースのコンテンツ分類アプリケーションの構築、テスト、およびデプロイを目的とした、現代的なツールキットです。包括的なAIツールセットを提供し、コンテンツ分類の構築、評価、デプロイ、監視を容易にします。柔軟な分類管理に対応し、迅速かつ正確な結果を得るための即時テストが可能です。また、複数の分類方法を提供し、最適な分類方法を選択できます。さらに、Ramen AIのAPIを使用して分類アプリケーションをコードに統合したり、GoogleスプレッドシートでRamen AIの関数を使用することもできます。AI生成のテストデータセットも提供することで、検証用データセットを手動で作成する時間を節約できます。また、分類アプリケーションの使用状況を監視し、レポートを作成することで、変化傾向を把握できます。Ramen AIは、医療、金融、小売、法律、カスタマーサポート、教育、研究など、様々な分類アプリケーションのシナリオに適しています。

MLJARは、優れたデータサイエンスツールと学習教材を提供し、ユーザーが自身のデータを理解し活用できるよう支援します。自動機械学習、ノートブックをインタラクティブなウェブアプリケーションへの変換、LLMを使用したPythonチャートの生成、独自のSaaS構築、サーバーとウェブサイトの監視など、様々な機能を提供します。MLJARの強みは、XAI機能、公平な機械学習、モデル解釈可能性、公平性指標、異常検知と迅速な通知機能です。価格設定については、各種製品の比較や、決定木、ランダムフォレスト、Xgboost、LightGBM、CatBoostなどのアルゴリズム比較を提供しています。データサイエンスツール分野をターゲットとしています。

Llogは、チームが本番環境におけるLLMアプリケーションの状況を把握するための、エンドツーエンドの協調監視プラットフォームです。チームメンバーは、共同作業スペースでログを確認し、重要な項目にフラグを立て、タスクを割り当てることができます。チーム規模に関わらず、あらゆる価格帯で無制限のユーザーをサポートします。エンドユーザーのインタラクションを直接観測することで、ユーザー行動を包括的に理解し、LLMが実際には何を言っているのかという不安を解消します。シンプルなフォーマットと数回のAPIリクエストで、直ちにプラットフォーム上で結果を確認できます。

ベラムは、LLMアプリケーションを構築するための開発プラットフォームです。高速なエンジニアリング、意味検索、バージョン管理、テスト、監視などのツールを提供し、主要なLLMプロバイダーすべてと互換性があります。ベラムは、LLM機能を本番環境に導入し、LLMモデルの迅速な開発と展開を支援するだけでなく、品質テストやパフォーマンス監視などの機能も提供します。価格と位置付けについては、公式ウェブサイトをご覧ください。

Autoblocksは、製品チームがGenAI製品を迅速に反復開発するために必要なツールをすべて提供する、協調的なクラウドワークスペースです。Autoblocksを使用することで、アプリケーションパイプラインのプロトタイプ作成とテスト、ユーザーインタラクションの追跡とユーザーエクスペリエンスへの影響の把握、ユーザー結果の評価と視覚化、あらゆるコードベースやテクノロジースタックへのシームレスな統合を行うことができます。

SenutoはSEO担当者向けに、キーワードランキングの変動追跡、競合分析、ロングテールキーワードの発見、SEOレポート作成などを提供するSEOデータ分析ツールキットです。無料トライアルがあり、価格はリーズナブルで、SEO担当者の必須ツールとして位置付けられています。

Humanloopは、大規模言語モデルを基盤とした本番環境アプリケーションの構築と監視のための協調プラットフォームです。開発者がAIをプロトタイプ開発から本番環境へと迅速に移行し、同時にシステムの信頼性を確保するための包括的なツールセットを提供します。主な機能には、命中率向上のための反復とバージョン管理が可能なプロンプトエンジニアリング、様々なモデルのサポートと追跡を行うモデル管理、フィードバックの収集と定量分析を行うコンテンツ評価、そして技術以外の担当者もAIアプリケーション開発に参加できる協調プラットフォームが含まれます。代表的なユースケースとしては、チャットボットの構築、顧客サポートの自動化、マーケティングコンテンツの生成などがあります。Humanloopは既に数万人の開発者から支持されており、多くの有名企業で使用されています。

Aporiaは、機械学習モデルの管理と可観測性のためのプラットフォームです。包括的なダッシュボードを通じて、機械学習モデルを監視し、最適なパフォーマンスを確保します。解釈可能性、監視、根本原因分析、LLM可観測性、生成AI、ガードレールなどの機能を提供しています。Aporiaは、データ統合、カスタマイズ、大規模データへの対応、セキュリティとプライバシーなどの機能を備えた強力なプラットフォームです。

Middlewareは、包括的なアプリケーションとインフラストラクチャの可観測性を提供するクラウドネイティブ監視プラットフォームです。大規模な監視と問題診断を可能にします。インフラストラクチャ監視、ログ監視、アプリケーションパフォーマンス監視、データベース監視、合成監視、サーバーレス監視、コンテナ監視、リアルタイムユーザー監視などの機能を備えています。Middlewareを使用することで、クラウドインフラストラクチャの問題を容易に特定、理解、解決できます。

アイセタナは、自己学習型AIソフトウェアです。大規模な監視ネットワーク内で、異常または興味深いイベントを検出します。既存システムに接続し、環境における正常な状況を学習することで、通常とは異なる事象を検知します。常に知性を高め、監視画面の疲労を軽減し、より重要なイベントや潜在的なリスクを示します。これにより、セキュリティチームは問題発生前に問題を特定し、対処することで、予防率を高め、セキュリティ上の脆弱性を低減できます。

AI-Proctorは、プラグインとデスクトップアプリケーションを連携させることで、受験者のブラウザと監視教師間の通信、および全画面モードの切り替えを実現するオンライン試験監視システムです。本システムは、インテリジェントな監視機能、包括的な機能、多様な利用シーンを特長としています。

Safe Kids AIメールは、Gmailアカウントを嫌がらせ、いじめ、ネガティブな言葉遣いから守るためのプラグインです。機械学習を用いて、有害の可能性のあるメールを検出します。さらに、子どもたちが不適切なメールを書こうとした際には、一時停止し、自分の選択を振り返る時間を与え、より良い決断を促します。このプラグインはブラウザ上でローカルに動作するため、プライバシーに影響を与えることはありません。

Browse AIはコーディング不要のツールです。2分以内に、あらゆるウェブサイトのデータをスクレイピングするボットをトレーニングできます。シンプルなポイント＆クリックインターフェースでウェブスクレイピングの自動化タスクを設定し、データをスプレッドシートにダウンロードしたり、Googleスプレッドシートと同期したり、タスクを定期実行してデータの変化を監視できます。Zapier連携、REST APIとWebhooksを使用して、あらゆるソフトウェアにデータを取り込むことも、あらゆるウェブサイトをAPIに変換することも可能です。Browse AIは時間と労力の節約に役立ち、作業効率を向上させます。

OpenCopilotは、独自のAIパートナーの構築を直感的、迅速かつ確実に実現するツールです。AIの事前経験は不要で、AIパートナーを製品に簡単に組み込むことができます。開発ツール、SaaS、社内ツールなど、あらゆる企業や製品に独自のAIパートナーを導入できます。OpenCopilotは、監視?評価システム、すぐに使える容易な導入機能を提供し、オープンソースの構築モジュールを使用しています。今すぐあなた自身の最初のAIパートナーを作り始めましょう！

DeviはFacebookグループ、LinkedIn、Twitter、Redditでキーワードを監視し、ChatGPTまたはBardを使ってコミュニケーションを取り、取引を成立させます。さらに、DeviはAIを使用してすべてのソーシャルメディアプラットフォームでコンテンツを作成し、投稿スケジュールを組むことができます。Deviを使用することで、ソーシャルメディアにかける時間を節約し、ビジネスの発展に多くの時間を割くことができます。価格と機能については、公式ウェブサイトをご覧ください。

Toyonは、リアルタイムの株式および通貨市場に関するデータと指標を提供し、市場トレンドの追跡と投資意思決定を支援する金融データリアルタイム分析ツールです。本ツールは、リアルタイムのニュースと世論分析も提供し、市場のダイナミクスやイベントが株価に与える影響を理解するのに役立ちます。Toyonでは、ユーザーは自身のニーズに合わせて関心のある株式や通貨を設定し、リアルタイムのデータと分析レポートを取得できる、カスタム追跡と監視にも対応しています。価格設定は、ユーザーの種類と機能によって異なります。Toyonは、個人投資家とプロのトレーダーの両方に適した包括的な金融データ分析ツールです。