SLM_Survey是一個專注於小型語言模型（SLMs）的研究項目，旨在通過調研和測量，提供對這些模型的深入瞭解和技術評估。該項目涵蓋了基於Transformer的、僅解碼器的語言模型，參數範圍在100M至5B之間。通過對59個最先進的開源SLMs進行調研，分析了它們的技術創新，並在多個領域評估了它們的能力，包括常識推理、上下文學習、數學和編程。此外，還對它們的運行時成本進行了基準測試，包括推理延遲和內存佔用。這些研究對於推動SLMs領域的研究具有重要價值。

Cheating LLM Benchmarks 是一個研究項目，旨在通過構建所謂的“零模型”（null models）來探索在自動語言模型（LLM）基準測試中的作弊行為。該項目通過實驗發現，即使是簡單的零模型也能在這些基準測試中取得高勝率，這挑戰了現有基準測試的有效性和可靠性。該研究對於理解當前語言模型的侷限性和改進基準測試方法具有重要意義。

Paper Central 是 Hugging Face 推出的一個全面、便捷的學術平臺，它將arXiv、Hugging Face 論文頁、模型、數據集、Space、GitHub 和會議論文集等多個來源的開源學術資源整合在一起，幫助研究人員和開發者快速獲取並使用開源資源。

SciAgentsDiscovery 是一個利用多智能體系統和大規模本體知識圖譜，自動化科學研究的系統。它通過整合大型語言模型、數據檢索工具和多智能體學習系統，能夠自主生成和完善研究假設，揭示潛在的機制、設計原則和意外材料屬性。該系統在生物啟發材料領域展示了其跨學科關係的發現能力，超越了傳統人類驅動的研究方法。

AI-Researcher 是一個基於斯坦福大學自然語言處理團隊的研究項目，旨在通過人工智能技術輔助研究創意的生成和管理。該工具通過自然語言輸入研究主題，輸出一系列項目提案，並對其進行排名和過濾，以幫助研究人員快速找到創新且可行的研究點子。它包括相關論文搜索、基於檢索的想法生成、想法去重、項目提案生成、項目提案排名和過濾等模塊。

OpenResearcher是一個先進的科學研究助手，旨在為研究查詢提供有幫助的答案。它能夠訪問arXiv語料庫，提供最新的科學見解，幫助用戶探索科學的前沿。

Turtle Benchmark是一款基於'Turtle Soup'遊戲的新型、無法作弊的基準測試，專注於評估大型語言模型（LLMs）的邏輯推理和上下文理解能力。它通過消除對背景知識的需求，提供了客觀和無偏見的測試結果，具有可量化的結果，並且通過使用真實用戶生成的問題，使得模型無法被'遊戲化'。

ICSFSurvey是一個關於大型語言模型內部一致性和自我反饋的調查研究。它提供了對LLMs自我評估和自我更新機制的統一視角，包括理論框架、系統分類、評估方法、未來研究方向等。

prism-alignment 是一個由 HannahRoseKirk 創建的數據集，專注於研究大型語言模型（LLMs）的偏好和價值觀對齊問題。數據集通過調查問卷和與語言模型的多輪對話，收集了來自不同國家和文化背景的參與者對模型回答的評分和反饋。這些數據對於理解和改進人工智能的價值觀對齊至關重要。

SLM_Survey是一個專注於小型語言模型（SLMs）的研究項目，旨在通過調研和測量，提供對這些模型的深入瞭解和技術評估。該項目涵蓋了基於Transformer的、僅解碼器的語言模型，參數範圍在100M至5B之間。通過對59個最先進的開源SLMs進行調研，分析了它們的技術創新，並在多個領域評估了它們的能力，包括常識推理、上下文學習、數學和編程。此外，還對它們的運行時成本進行了基準測試，包括推理延遲和內存佔用。這些研究對於推動SLMs領域的研究具有重要價值。

State of AI Report 2024是由AI領域投資者Nathan Benaich和Air Street Capital共同製作的年度報告，旨在分析AI領域最有趣的發展，並引發關於AI現狀及其對未來影響的知情討論。報告涵蓋了研究、產業、政治、安全等多個維度，提供了對未來AI發展的預測和評估。這份報告是瞭解AI領域最新進展和趨勢的重要資源，對於研究人員、企業家、政策制定者以及對AI感興趣的公眾都具有極高的參考價值。

Cheating LLM Benchmarks 是一個研究項目，旨在通過構建所謂的“零模型”（null models）來探索在自動語言模型（LLM）基準測試中的作弊行為。該項目通過實驗發現，即使是簡單的零模型也能在這些基準測試中取得高勝率，這挑戰了現有基準測試的有效性和可靠性。該研究對於理解當前語言模型的侷限性和改進基準測試方法具有重要意義。

MLE-bench是由OpenAI推出的一個基準測試，旨在衡量AI代理在機器學習工程方面的表現。該基準測試彙集了75個來自Kaggle的機器學習工程相關競賽，形成了一套多樣化的挑戰性任務，測試了訓練模型、準備數據集和運行實驗等現實世界中的機器學習工程技能。通過Kaggle公開的排行榜數據，為每項競賽建立了人類基準。使用開源代理框架評估了多個前沿語言模型在該基準上的表現，發現表現最佳的設置——OpenAI的o1-preview配合AIDE框架——在16.9%的競賽中至少達到了Kaggle銅牌的水平。此外，還研究了AI代理的各種資源擴展形式以及預訓練汙染的影響。MLE-bench的基準代碼已經開源，以促進未來對AI代理機器學習工程能力的理解。

Paper Central 是 Hugging Face 推出的一個全面、便捷的學術平臺，它將arXiv、Hugging Face 論文頁、模型、數據集、Space、GitHub 和會議論文集等多個來源的開源學術資源整合在一起，幫助研究人員和開發者快速獲取並使用開源資源。

SciAgentsDiscovery 是一個利用多智能體系統和大規模本體知識圖譜，自動化科學研究的系統。它通過整合大型語言模型、數據檢索工具和多智能體學習系統，能夠自主生成和完善研究假設，揭示潛在的機制、設計原則和意外材料屬性。該系統在生物啟發材料領域展示了其跨學科關係的發現能力，超越了傳統人類驅動的研究方法。

AI-Researcher 是一個基於斯坦福大學自然語言處理團隊的研究項目，旨在通過人工智能技術輔助研究創意的生成和管理。該工具通過自然語言輸入研究主題，輸出一系列項目提案，並對其進行排名和過濾，以幫助研究人員快速找到創新且可行的研究點子。它包括相關論文搜索、基於檢索的想法生成、想法去重、項目提案生成、項目提案排名和過濾等模塊。

OpenResearcher是一個先進的科學研究助手，旨在為研究查詢提供有幫助的答案。它能夠訪問arXiv語料庫，提供最新的科學見解，幫助用戶探索科學的前沿。

SWE-bench Verified是OpenAI發佈的一個經過人工驗證的SWE-bench子集，旨在更可靠地評估AI模型解決現實世界軟件問題的能力。它通過提供代碼庫和問題描述，挑戰AI生成解決所描述問題的補丁。這個工具的開發是為了提高模型自主完成軟件工程任務的能力評估的準確性，是OpenAI準備框架中中等風險級別的關鍵組成部分。