# Transformerモデル

Stable Virtual Cameraは、Stability AIが開発した13億パラメーターの汎用拡散モデルであり、Transformer画像からビデオへの変換モデルです。その重要性は、新しいビュー合成（NVS）に技術的なサポートを提供することであり、入力ビューとターゲットカメラに基づいて、3D整合性のある新しいシーンビューを生成できます。主な利点としては、ターゲットカメラの軌跡を自由に指定でき、大きな視点の変化と時間的に滑らかなサンプルを生成でき、追加のニューラル放射場（NeRF）蒸留なしで高い整合性を維持でき、さらに最長30秒の高品質でシームレスなループビデオを生成できることが挙げられます。このモデルは、研究および非商業目的でのみ無料で使用でき、研究者や非商業クリエイターに革新的な画像からビデオへの変換ソリューションを提供することを目的としています。

ModernBERT-baseは、2兆個の英語とコードデータで事前学習された最新の双方向エンコーダーTransformerモデルです。最大8192トークンのコンテキストをネイティブにサポートしています。Rotary Positional Embeddings (RoPE)、Local-Global Alternating Attention、Unpaddingなどの最新のアーキテクチャ改良を採用することで、長文テキスト処理タスクにおいて優れた性能を発揮します。ModernBERT-baseは、検索、分類、大規模コーパスにおける意味検索など、長文書を処理する必要があるタスクに適しています。モデルの訓練データは主に英語とコードであるため、他の言語での性能は低下する可能性があります。

LLNL/LUARは、Transformerに基づいた著者表現学習モデルであり、主に著者検証におけるドメイン間転移研究に使用されます。EMNLP 2021の論文で紹介され、あるドメインで学習した著者表現が別のドメインに転移可能かどうかを研究しました。主な利点として、大規模データセットの処理能力と、アマゾンレビュー、同人小説短編、Redditコメントなど複数の異なるドメインにおけるゼロショット転移が挙げられます。製品背景には、ドメイン間著者検証における革新的な研究と、自然言語処理分野における応用可能性が含まれます。この製品はオープンソースであり、Apache-2.0ライセンスに従い、無料で使用できます。

Transformer解説ツールは、Transformerモデルの理解を深めるためのオンライン可視化ツールです。自己注意機構、フィードフォワードネットワークなど、Transformerモデルの各コンポーネントを視覚的に表示することで、モデル内でのデータの流れと処理過程を直感的に理解できます。教育と研究の分野において重要な意味を持ち、学生や研究者が自然言語処理分野の先端技術をより深く理解するのに役立ちます。

MusiConGenは、Transformerに基づくテキストから音楽生成モデルです。時間条件強化により、リズムとコードの制御を向上させています。MusicGen-melodyフレームワークを事前学習させたモデルをファインチューニングして作成されました。記号で表されたコードとリズム制御を使用し、5つの異なるスタイルのテキスト記述を組み合わせてサンプルを生成します。生成されたサンプルのコードは、論文で述べられているように、BTCコード認識モデルによって推定されます。

4Mは、多様なビジョンタスクに対応し、多モーダル条件付き生成も可能な、多モーダル?マルチタスクモデルのトレーニングフレームワークです。実験分析を通じて、ビジョンタスクにおける汎用性と拡張性を示しており、ビジョン分野やその他の分野における多モーダル学習の更なる探求の基盤を築きます。

VideoLLaMA2-7B-Baseは、DAMO-NLP-SGが開発した大規模ビデオ言語モデルであり、ビデオコンテンツの理解と生成に特化しています。このモデルは、ビジュアルクエスチョン?アンサーとビデオ字幕生成において卓越した性能を発揮し、高度な時空間モデリングと音声理解能力により、ユーザーに新たなビデオコンテンツ分析ツールを提供します。Transformerアーキテクチャに基づいており、マルチモーダルデータの処理が可能で、テキストと視覚情報を組み合わせ、正確で洞察力のある出力を生成します。

GRMは大規模な再構築モデルであり、疎なビュー画像から0.1秒で3Dアセットを復元し、8秒以内で生成できます。これは、Transformerベースのフィードフォワードモデルであり、多様なビュー情報を効率的に融合し、入力ピクセルを高精度に位置合わせされたガウス分布に変換します。これらのガウス分布は、シーンを表す密集した3Dガウス分布集合に逆投影できます。当社のTransformerアーキテクチャと3Dガウス分布の使用方法は、拡張性が高く効率的な再構築フレームワークを可能にします。数多くの実験結果から、当社の方法は再構築の品質と効率において他の代替案を上回ることが示されています。また、既存の多視点拡散モデルと組み合わせることで、テキストから3D、画像から3Dなどの生成タスクにおけるGRMの可能性も示しています。

大規模ワールドモデルは、RingAttention技術を用いて学習されたニューラルネットワークで、長尺の動画と言語シーケンスの処理に特化し、人間の知識とマルチモーダルな世界を理解することを目指しています。大規模データセットを用いた学習により、前例のないコンテキストサイズを実現し、70億パラメータのモデル群をオープンソースとして公開しています。これにより、100万トークンを超えるテキストと動画の処理が可能になります。