# 預訓練語言模型

「書生·浦語2.0」InternLM2是一個面向中文和英文的大型多語言預訓練語言模型。它具有語言理解、自然語言生成、多模式推理、代碼理解等強大的能力。模型採用Transformer架構並進行海量數據的預訓練,在長文本理解、對話、數學運算等多個方向上都達到了業界領先水平。該系列模型包含多種規模,用戶可以選擇合適的模型進行下游任務微調或構建聊天機器人等應用。

LingoWhale-8B是一個開源的大規模中英雙語預訓練語言模型,具有強大的自然語言理解和生成能力。它通過在海量高質量中英文數據上進行預訓練,可以完成長文本的理解和多輪交互。該模型採用Transformer架構,參數量達80億。它在多箇中文和英文公開基準測試上都取得了領先的效果。LingoWhale-8B完全開放給學術研究使用,個人開發者可以免費用於商業用途。該模型可以廣泛應用於聊天機器人、知識問答、文本生成等領域。