# 语料库

Leximory 是一个专注于语言学习的网站，旨在通过大量语言素材的输入，帮助用户自然习得语言。它强调以阅读语料为基础，结合文法、语源等技巧，实现语言的高效学习和内化。该产品基于语言学研究成果，认为大量输入是语言习得最有效的方式，通过 AI 技术实现自动划出生词、考纲词汇一键查询等功能，帮助用户更好地吸收语言知识。其主要优点是能够提供丰富的语料资源和便捷的学习工具，适合不同阶段的语言学习者。产品目前免费开放，定位为语言学习的高效辅助工具。

中文互联网语料资源平台是由中国网络空间安全协会主办的专业网站，旨在为人工智能大模型的预训练提供高质量、安全合规的中文语料资源。该平台汇聚了来自企业、高校和科研单位的协同优势，依托‘共建－共享’机制，形成了包括中文互联网基础语料2.0、人民网主流价值数据集、国家版本馆明清文献语料等多个高质量语料库。这些语料库经过严格的信源筛选、格式清洗、语言过滤、数据去重、内容过滤、隐私过滤等处理步骤，确保了数据的合法性、真实性、准确性和客观性。平台的资源对于推动国家人工智能技术创新和产业发展具有重要意义，可帮助大模型更好地理解和生成中文内容，提升其知识能力与价值观对齐。

MathPile是一个包含约95亿个标记的数学中心语料库，从教科书（包括讲座笔记）、arXiv、维基百科、ProofWiki、StackExchange和网页中汲取数学内容，适用于K-12、大学、研究生水平和数学竞赛。MathPile的数据质量高，并且有着丰富的数据文档，以增强透明度和给用户灵活的使用数据的能力。在授权方面，MathPile遵循BY-NC-SA 4.0许可协议，同时计划很快发布一个商业可用版本。

NLTK是一个领先的Python平台，用于处理人类语言数据。它提供了易于使用的接口，用于访问50多个语料库和词汇资源，如WordNet，并提供了一套文本处理库，用于分类、标记、解析和语义推理。它还提供了工业级NLP库的封装，并有一个活跃的讨论论坛。NLTK适用于语言学家、工程师、学生、教育者、研究人员和行业用户。NLTK可以免费使用，并且是一个开源的社区驱动项目。