# 語料庫

Leximory 是一個專注於語言學習的網站，旨在通過大量語言素材的輸入，幫助用戶自然習得語言。它強調以閱讀語料為基礎，結合文法、語源等技巧，實現語言的高效學習和內化。該產品基於語言學研究成果，認為大量輸入是語言習得最有效的方式，通過 AI 技術實現自動劃出生詞、考綱詞彙一鍵查詢等功能，幫助用戶更好地吸收語言知識。其主要優點是能夠提供豐富的語料資源和便捷的學習工具，適合不同階段的語言學習者。產品目前免費開放，定位為語言學習的高效輔助工具。

中文互聯網語料資源平臺是由中國網絡空間安全協會主辦的專業網站，旨在為人工智能大模型的預訓練提供高質量、安全合規的中文語料資源。該平臺匯聚了來自企業、高校和科研單位的協同優勢，依託‘共建－共享’機制，形成了包括中文互聯網基礎語料2.0、人民網主流價值數據集、國家版本館明清文獻語料等多個高質量語料庫。這些語料庫經過嚴格的信源篩選、格式清洗、語言過濾、數據去重、內容過濾、隱私過濾等處理步驟，確保了數據的合法性、真實性、準確性和客觀性。平臺的資源對於推動國家人工智能技術創新和產業發展具有重要意義，可幫助大模型更好地理解和生成中文內容，提升其知識能力與價值觀對齊。

MathPile是一個包含約95億個標記的數學中心語料庫，從教科書（包括講座筆記）、arXiv、維基百科、ProofWiki、StackExchange和網頁中汲取數學內容，適用於K-12、大學、研究生水平和數學競賽。MathPile的數據質量高，並且有著豐富的數據文檔，以增強透明度和給用戶靈活的使用數據的能力。在授權方面，MathPile遵循BY-NC-SA 4.0許可協議，同時計劃很快發佈一個商業可用版本。

NLTK是一個領先的Python平臺，用於處理人類語言數據。它提供了易於使用的接口，用於訪問50多個語料庫和詞彙資源，如WordNet，並提供了一套文本處理庫，用於分類、標記、解析和語義推理。它還提供了工業級NLP庫的封裝，並有一個活躍的討論論壇。NLTK適用於語言學家、工程師、學生、教育者、研究人員和行業用戶。NLTK可以免費使用，並且是一個開源的社區驅動項目。