Chinese Tiny LLM（CT-LLM）は、中国語向けに設計された最初の大規模言語モデルです。20億パラメータを持ち、1兆2,000億単語の中国語コーパスで事前学習されています。CT-LLMは、中国語の理解と生成能力の向上に重点を置いており、大規模な中国語データによる事前学習を通じて、中国語テキストの高効率処理を実現しています。中国語処理の最適化に重点を置いていますが、CT-LLMは英語やプログラミングコードに対しても良好な処理能力を示し、多言語への適応性を備えています。中国語言語タスクのベンチマークであるCHC-Benchにおいて、CT-LLMは優れた性能を示し、中国語の理解と応用における高い効率性を証明しています。CT-LLMはゼロから学習されており、主に中国語データを使用して事前学習が行われています。データフィルタリングプロセス、学習ダイナミクス、学習と評価データ、モデルの中間チェックポイントなど、関連するすべての情報が公開されています。このオープンソース化により、他の研究者や開発者はこれらのリソースにアクセスし、それらの情報を自身の研究やモデルの更なる改良に利用できます。