# 监控

DroneDeploy提供机器捕捉和真实人工智能，为您提供完整的质量、安全和进度的全面理解。它可以帮助监控各种工地，实现全生命周期可视化。

fixa是一个专注于AI语音代理测试与可观测性的平台，旨在帮助开发者和企业快速发现并修复语音代理中的问题。通过自动化测试、生产监控和错误检测等功能，确保语音代理的稳定性和可靠性。该平台由Y Combinator资助，提供简单透明的定价策略，适合不同规模的企业使用。

RAG-logger是一个为检索增强生成(Retrieval-Augmented Generation, RAG)应用设计的开源日志工具。它是一个轻量级的、针对RAG特定日志需求的开源替代方案，专注于为RAG应用提供全面的日志记录功能，包括查询跟踪、检索结果记录、LLM交互记录以及逐步性能监控。它采用基于JSON的日志格式，支持每日日志组织、自动文件管理和元数据丰富化。RAG-logger以其开源、轻量级和专注于RAG应用的特性，为开发者提供了一个有效的工具来监控和分析RAG应用的性能。

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

Arch是一个开源的网关，专为处理提示（prompts）而设计，它利用快速的大型语言模型（LLMs）来处理提示，并与后端系统无缝集成。Arch基于Envoy构建，支持任何应用程序语言，并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能，帮助开发者构建快速、健壮和个性化的GenAI应用。

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。

Editor Usage 是一款为macOS设计的菜单栏应用程序，旨在帮助用户监控和管理他们的Cursor编辑器使用情况。该应用程序能够追踪高级、普通和特殊请求的使用情况，并在接近使用限制时提供警告。它允许用户从菜单栏快速查看剩余的请求次数，从而确保用户始终了解他们的使用情况，并避免因超出限制而受到影响。这款应用的主要优点包括详细的使用监控、可定制的警告设置以及快速便捷的访问方式。它适合需要管理多个项目或希望实时监控请求使用情况的用户。

Temperstack是一个企业级的主动式SRE平台，旨在减少SRE的重复劳动，提高服务的可靠性。它通过自动化服务目录、警报审计和跨您的监控工具的SLI报告，为从CTO到SRE工程师的团队提供可见性、主动发现问题并促进协作。Temperstack集成了流行的监控工具，提供统一的命令界面，以实现全面的SRE可见性和行动。

StatusSight 是一款用于实时监控系统状态的工具，能够帮助企业及时了解其服务的运行状态。它提供直观的仪表板，用户可以轻松跟踪各项指标，确保系统的高可用性与性能。适合各种规模的企业，支持定制化配置，以满足不同需求。此工具通常以订阅方式收费，具体定价根据所需功能而定。

Helicone AI是一个为开发者设计的开源平台，专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间，是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性，并支持风险无忧的实验，无需安装SDK，仅需添加头部信息即可访问所有功能。

Evidently AI是一个开源的Python库，用于监控机器学习模型，支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控，拥有超过2000万的下载量和5000+的GitHub星标，是机器学习领域中一个值得信赖的监控工具。

Hamming是一个端到端的AI语音代理测试平台，支持从开发到生产的全流程。它通过自动化语音角色创建成千上万的并发电话呼叫，以测试和发现语音代理中的bug，显著提高测试效率。此外，Hamming还提供提示管理、优化器和游乐场，帮助用户自动生成优化的提示，并在数据集上测试LLM输出。Hamming还具备主动监控功能，能够跟踪和评分AI应用在生产中的使用情况，并标记需要关注的案例。

Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。

GPT Auth是一个安全的GPT认证和监控平台。它可以让GPT开发者简单快速地为自己的GPT模型添加用户认证系统,实时监控用户查询,从而保护GPT不被非法访问。该平台提供简单易用的无代码解决方案,使所有层次的开发者都能轻松设置强大的安全认证。

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

Ramen AI是一款现代化的工具集，用于构建、测试和部署基于LLM的内容分类应用。它提供完整的AI工具集，让您能够轻松构建、评估、部署和监控内容分类。Ramen AI支持灵活的分类管理，可即时进行测试，以获得快速准确的结果。它还提供多种分类方法，为您选择最佳的分类方式。您还可以使用Ramen AI的API，将分类应用集成到您的代码中，甚至可以在Google表格中使用Ramen AI的公式。Ramen AI还提供AI生成的测试数据集，节省手动生成验证数据集的时间。它还可以监控和报告分类应用的使用情况，帮助您了解变化趋势。Ramen AI适用于各种分类应用场景，包括医疗、金融、零售、法律、客服、教育和研究等。

MLJAR提供出色的数据科学工具和学习材料，帮助用户理解和利用他们的数据。产品功能包括自动化机器学习、将笔记本转换为交互式网络应用、使用LLMs生成Python图表、构建自己的SaaS以及服务器和网站监控。MLJAR的优势在于提供XAI能力、公平的机器学习、模型解释、公平度指标、以及快速检测异常并及时通知。定价方面，MLJAR提供了多种产品比较和决策树、随机森林、Xgboost、LightGBM、CatBoost等算法的比较。定位于数据科学工具领域。

Llog是一个协作监控LLM应用程序的终端到终端平台，为团队提供洞察力，了解他们的LLM应用程序在生产后的情况。团队成员可以在一个协作空间中审查日志、标记重要事项并分配任务。无论团队规模多大，都可以在任何价格层级下享受无限的席位支持。通过直接观察用户交互，全面了解终端用户的行为，并永远不再担心LLM实际上在说什么。使用我们简单的格式，进行几个API请求，即可立即在我们的平台上查看结果。

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。

Senuto是一个SEO数据分析工具集,提供给SEO从业者使用。它可以追踪关键词排名变化,进行竞争对手分析,发现长尾关键词机会,生成SEO报告等。该工具提供免费试用,定价合理,定位为SEO人员的必备工具。

Humanloop是一个用于构建和监控以大语言模型为基础的生产级应用的协作平台。它提供了一套完整的工具集,可以帮助开发者更快速地将AI从原型开发到生产环境,同时保证系统的可靠性。主要功能包括:提示工程,可以迭代和版本化提示,提高命中率;模型管理,支持各种模型并进行跟踪;内容评估,收集反馈并进行定量分析;以及合作平台,让非技术人员也可以参与到AI应用开发中。典型应用场景有构建聊天机器人、自动化客户支持以及生成营销内容等。Humanloop已经受到了成千上万开发者的青睐,被多家知名企业所使用。

Middleware是一个云原生监控平台，提供完整的应用和基础设施可观测性，以便您能够大规模监控和诊断问题。它包括基础设施监控、日志监控、应用性能监控、数据库监控、合成监控、无服务器监控、容器监控和实时用户监控等功能。通过使用Middleware，您可以轻松识别、理解和解决云基础架构中的问题。

icetana是一款自学习的人工智能软件，可在大型监控网络中检测异常或有趣的事件。它通过连接到现有系统，学习环境中的正常情况，并显示不寻常的事件。icetana不断提升智能，减少监控屏幕上的疲劳，提供更重要的事件和潜在风险。它可以帮助安全团队在事件发生前识别和处理问题，提高预防率，减少安全漏洞。

AI-Proctor是一款在线考试监控系统，通过插件与桌面应用程序的配合，实现考生浏览器与监考教师的通信和全屏模式切换功能。该系统具备智能监控、全面功能点列表、多种使用场景等特点。

Safe Kids AI for Email是一款保护Gmail账户免受仇恨、欺凌和负面语言的插件。我们使用机器学习来标记可能有害的邮件。此外，当孩子们写不友善的邮件时，我们会暂停并让他们反思自己的选择，以便他们做出更好的决定。此插件在浏览器上本地运行，不会影响隐私。

Browse AI是一款无需编码的工具，可以在2分钟内训练一个机器人来抓取任何网站的数据。您可以使用简单的点-and-click界面设置网页抓取自动化任务，将数据下载为电子表格或与Google表格同步，定时运行任务并监控数据变化。您还可以使用Zapier集成或REST API和Webhooks将数据流入任何其他软件，甚至可以将任何网站转化为API。Browse AI可帮助您节省大量时间和精力，提高工作效率。

OpenCopilot 是一个使构建自己的 AI 合作伙伴变得直观、快速和可靠的工具。无需具备前期 AI 经验，您可以轻松地将 AI 合作伙伴嵌入到产品中。无论是开发工具、SaaS 还是内部工具，每个公司和产品都可以拥有自己的 AI 合作伙伴。OpenCopilot 提供监控、评估系统、易于部署的开箱即用功能，并使用开源构建模块。现在就开始您的第一个 AI 合作伙伴吧！

Toyon是一款金融数据实时分析工具，提供实时股票和货币市场的相关数据和指标，帮助用户追踪市场趋势和做出投资决策。该工具还提供实时的新闻和舆情分析，帮助用户了解市场动态和事件对股票价格的影响。Toyon还支持自定义跟踪和监控，用户可以根据自己的需求设置感兴趣的股票和货币，获取实时的数据和分析报告。定价根据不同的用户类型和功能进行区分。Toyon是一个全面的金融数据分析工具，适用于个人投资者和专业交易员。

Vigilocity是一种智能安全监控和预防解决方案，帮助企业实时监测并预防网络攻击和数据泄露。其主要功能包括实时警报通知、行为分析、安全事件追踪和风险评估。Vigilocity能够帮助企业提高网络安全性，降低风险，保护品牌和声誉。定价和定位信息请联系官方网站获取。