# AI评估

Bespoke Labs专注于提供高质量的定制化数据集服务，以支持工程师进行精确的模型微调。公司由Google DeepMind的前员工Mahesh和UT Austin的Alex共同创立，旨在改善高质量数据的获取，这对于推动领域发展至关重要。Bespoke Labs提供的工具和平台，如Minicheck、Evalchemy和Curator，都是围绕数据集的创建和管理设计的，以提高数据的质量和模型的性能。

Elastyc AI是一个旨在帮助招聘团队快速评估候选人的在线平台。它通过自定义评分卡为每位候选人提供评分，并仅按使用量付费。该平台通过AI技术提高招聘效率，减少筛选时间，并提供详细的报告和分析，帮助企业做出更明智的招聘决策。Elastyc AI的主要优点包括高效的候选人评估、定制化的评分系统、实时的数据分析和报告，以及对求职者完全免费。

AutoArena是一个自动化的生成式AI评估平台，专注于评估大型语言模型（LLMs）、检索增强生成（RAG）系统和生成式AI应用。它通过自动化的头对头判断来提供可信的评估，帮助用户快速、准确、经济地找到系统的最佳版本。该平台支持使用来自不同供应商的判断模型，如OpenAI、Anthropic等，也可以使用本地运行的开源权重判断模型。AutoArena还提供了Elo评分和置信区间计算，帮助用户将多次头对头投票转化为排行榜排名。此外，AutoArena支持自定义判断模型的微调，以实现更准确、特定领域的评估，并可以集成到持续集成（CI）流程中，以自动化评估生成式AI系统。

Audo是一个利用人工智能技术为用户量身定制职业发展路径的平台，通过AI评估用户的技能、兴趣和个性，提供个性化的职业规划、简历优化、面试准备和职位匹配服务。它通过与顶级公司和大学合作，提供超过1100种职业路径认证，帮助用户提升职业技能，找到理想工作，并获取应得的薪酬。

Future AGI是一个自动化AI模型评估平台，通过自动评分AI模型输出，消除了手动QA评估的需求，使QA团队能够专注于更战略性的任务，提高效率和带宽高达10倍。该平台使用自然语言定义对业务最重要的指标，提供增强的灵活性和控制力，以评估模型性能，确保与业务目标的一致性。它还通过整合性能数据和用户反馈到开发过程中，创建了一个持续改进的循环，使AI在每次互动中变得更智能。

Health Inspecta 是一款利用人工智能技术，帮助用户快速评估食品和个人护理产品的营养价值、成分安全性和环境影响的应用程序。它通过扫描产品标签或手动输入产品名称，提供综合的健康等级评分，从A到F，让用户能够超越标签，做出更明智的消费选择。

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。

My Insta Personality是一个利用人工智能分析用户Instagram公开帖子的网站，旨在生成用户的个性档案并提供详细洞察。它通过先进的AI技术，帮助用户探索和理解自己在社交媒体上的行为模式和个性倾向。

VHire是一款面向企业的自动化视频面试软件，旨在通过AI技术帮助企业更快速、智能地筛选和评估候选人。它与传统的视频面试工具相比，如Zoom，能够节省组织的时间和金钱，更准确地招聘到最佳员工。VHire的主要优点包括节省时间、无需繁琐的面试安排、提供专业的AI驱动候选人评分系统以及众多创新功能。此外，VHire还提供灵活的定价方案，根据面试次数收费，并有折扣优惠。

Scale Leaderboard是一个专注于AI模型性能评估的平台，提供专家驱动的私有评估数据集，确保评估结果的公正性和无污染。该平台定期更新排行榜，包括新的数据集和模型，营造动态竞争环境。评估由经过严格审查的专家使用特定领域的方法进行，保证评估的高质量和可信度。

Berkeley Function-Calling Leaderboard（伯克利函数调用排行榜）是一个专门用来评估大型语言模型（LLMs）准确调用函数（或工具）能力的在线平台。该排行榜基于真实世界数据，定期更新，提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

Potis是一个AI驱动的招聘评估工具，能够自动评估应聘者的实际工作技能，提供实际案例测试、防作弊的评估方法、公正的人才评分系统等特点。Potis自动化评估可以节省高达80%的招聘初始预算，并加速招聘流程5倍，适用于所有层级的招聘需求。

Gentrace是一个团队共同评估和观察生成式人工智能的工具。通过使用人工智能和启发式评估器来连续评估质量，并观察在生产中的速度和成本。

Bolty是一款AI智能评估插件，通过使用ChatGPT提供网站内容的洞察。它简单易用：1. 扫描网站 2. 评估优化建议