# 視覚理解

Liquidは、画像を離散コードに分解し、テキストトークンと特徴空間を共有することで、視覚理解とテキスト生成のシームレスな統合を促進する自己回帰生成モデルです。このモデルの主な利点は、外部で事前にトレーニングされた視覚埋め込みを必要とせず、リソースへの依存を削減し、スケール則を通じて理解と生成タスク間の相互促進効果を発見したことです。

UniTokは、視覚生成と理解のギャップを埋めることを目的とした革新的な視覚トークナイザ技術です。多コードブック量子化技術により、離散トークナイザの表現能力を大幅に向上させ、より豊富な視覚的詳細と意味情報を捉えることができます。この技術は、従来のトークナイザのトレーニングプロセスにおけるボトルネックを克服し、視覚生成と理解のタスクに効率的で統一的なソリューションを提供します。UniTokは、画像生成と理解のタスクにおいて優れた性能を示しており、例えばImageNetにおいて顕著なゼロショット精度向上を実現しています。この技術の主な利点には、効率性、柔軟性、およびマルチモーダルタスクへの強力なサポートが含まれ、視覚生成と理解の分野に新たな可能性をもたらします。

ZeroBenchは、大規模マルチモーダルモデル（LMMs）の視覚理解能力を評価するために設計されたベンチマークです。100個の厳選された、厳格に審査された複雑な問題と、334個のサブ問題を通して、現在のモデルの限界に挑戦します。本ベンチマークは、既存のビジュアルベンチマークの不足を補い、より挑戦的で質の高い評価ツールを提供することを目指しています。ZeroBenchの主な利点は、その高難易度、軽量性、多様性、高品質であり、モデルのパフォーマンスを効果的に区別することができます。さらに、詳細なサブ問題評価を提供し、研究者がモデルの推論能力をより深く理解するのに役立ちます。

MiniCPM-o 2.6は、MiniCPM-oシリーズにおける最新かつ最も強力なモデルです。SigLip-400M、Whisper-medium-300M、ChatTTS-200M、Qwen2.5-7Bを基盤として構築されており、80億パラメーターを保有しています。視覚理解、音声対話、マルチモーダルライブストリーミングにおいて優れた性能を発揮し、リアルタイムの音声対話とマルチモーダルライブストリーミング機能をサポートしています。オープンソースコミュニティにおいて高い評価を得ており、複数の有名モデルを凌駕しています。その強みは、高速な推論速度、低遅延、低メモリ消費、低消費電力であり、iPadなどの端末デバイスにおいても効率的にマルチモーダルライブストリーミングをサポートできます。さらに、MiniCPM-o 2.6は使いやすく、llama.cppによるCPU推論、int4およびGGUF形式の量子化モデル、vLLMの高スループット推論など、様々な使用方法をサポートしています。

Video-LLaVAは、先行投影アライメントによって学習された、統合視覚表現を学習するためのモデルです。ビデオと画像表現をアライメントすることで、より高度な視覚理解を実現します。このモデルは、効率的な学習と推論速度を備えており、ビデオ処理や視覚タスクに適しています。