SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

Paper Central 是 Hugging Face 推出的一个全面、便捷的学术平台，它将arXiv、Hugging Face 论文页、模型、数据集、Space、GitHub 和会议论文集等多个来源的开源学术资源整合在一起，帮助研究人员和开发者快速获取并使用开源资源。

SciAgentsDiscovery 是一个利用多智能体系统和大规模本体知识图谱，自动化科学研究的系统。它通过整合大型语言模型、数据检索工具和多智能体学习系统，能够自主生成和完善研究假设，揭示潜在的机制、设计原则和意外材料属性。该系统在生物启发材料领域展示了其跨学科关系的发现能力，超越了传统人类驱动的研究方法。

AI-Researcher 是一个基于斯坦福大学自然语言处理团队的研究项目，旨在通过人工智能技术辅助研究创意的生成和管理。该工具通过自然语言输入研究主题，输出一系列项目提案，并对其进行排名和过滤，以帮助研究人员快速找到创新且可行的研究点子。它包括相关论文搜索、基于检索的想法生成、想法去重、项目提案生成、项目提案排名和过滤等模块。

OpenResearcher是一个先进的科学研究助手，旨在为研究查询提供有帮助的答案。它能够访问arXiv语料库，提供最新的科学见解，帮助用户探索科学的前沿。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

prism-alignment 是一个由 HannahRoseKirk 创建的数据集，专注于研究大型语言模型（LLMs）的偏好和价值观对齐问题。数据集通过调查问卷和与语言模型的多轮对话，收集了来自不同国家和文化背景的参与者对模型回答的评分和反馈。这些数据对于理解和改进人工智能的价值观对齐至关重要。

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

State of AI Report 2024是由AI领域投资者Nathan Benaich和Air Street Capital共同制作的年度报告，旨在分析AI领域最有趣的发展，并引发关于AI现状及其对未来影响的知情讨论。报告涵盖了研究、产业、政治、安全等多个维度，提供了对未来AI发展的预测和评估。这份报告是了解AI领域最新进展和趋势的重要资源，对于研究人员、企业家、政策制定者以及对AI感兴趣的公众都具有极高的参考价值。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

Paper Central 是 Hugging Face 推出的一个全面、便捷的学术平台，它将arXiv、Hugging Face 论文页、模型、数据集、Space、GitHub 和会议论文集等多个来源的开源学术资源整合在一起，帮助研究人员和开发者快速获取并使用开源资源。

SciAgentsDiscovery 是一个利用多智能体系统和大规模本体知识图谱，自动化科学研究的系统。它通过整合大型语言模型、数据检索工具和多智能体学习系统，能够自主生成和完善研究假设，揭示潜在的机制、设计原则和意外材料属性。该系统在生物启发材料领域展示了其跨学科关系的发现能力，超越了传统人类驱动的研究方法。

AI-Researcher 是一个基于斯坦福大学自然语言处理团队的研究项目，旨在通过人工智能技术辅助研究创意的生成和管理。该工具通过自然语言输入研究主题，输出一系列项目提案，并对其进行排名和过滤，以帮助研究人员快速找到创新且可行的研究点子。它包括相关论文搜索、基于检索的想法生成、想法去重、项目提案生成、项目提案排名和过滤等模块。

OpenResearcher是一个先进的科学研究助手，旨在为研究查询提供有帮助的答案。它能够访问arXiv语料库，提供最新的科学见解，帮助用户探索科学的前沿。

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。