# 大規模データセット

InternViT-300M-448px-V2_5は、InternViT-300M-448pxをベースとした強化版です。ViT増分学習とNTP損失（Stage 1.5）を採用することで、特に大規模なウェブデータセットにおいて表現が不足している領域（多言語OCRデータや数学グラフなど）における視覚エンコーダによる視覚特徴抽出能力を向上させています。このモデルはInternViT 2.5シリーズの一部であり、前世代と同様の「ViT-MLP-LLM」モデルアーキテクチャを維持しつつ、新たに増分学習されたInternViTと様々な事前学習済みLLM（InternLM 2.5やQwen 2.5など）を統合し、ランダム初期化されたMLPプロジェクタを使用しています。

本研究では、非常に大規模なデータセットのリアルタイムレンダリングに用いる、新たな階層型3Dガウス表現手法を提案します。この手法は、3Dガウススプラッティング技術により、優れた画質、高速なトレーニング、リアルタイムレンダリングを実現します。階層構造と効率的なレベルオブディテール（LOD）ソリューションにより、遠景の効率的なレンダリングと、異なるレベル間の滑らかな遷移が可能です。本技術は利用可能なリソースに適応し、分割統治法を用いて大規模シーンをトレーニングし、視覚的な品質を向上させるためにガウスの結合を中間ノードに最適化できる階層構造に統合します。

Persona Hubは、テンセントAIラボが公開した大規模合成データセットです。人物像を基にしたデータ合成研究の促進を目指しています。数百万もの異なる人物像の合成データサンプルを含んでおり、現実世界のユーザーの多様なインプットをシミュレートし、大規模言語モデル（LLM）のテストや研究に使用できます。