

LUAR
紹介 :
LLNL/LUARは、Transformerに基づいた著者表現学習モデルであり、主に著者検証におけるドメイン間転移研究に使用されます。EMNLP 2021の論文で紹介され、あるドメインで学習した著者表現が別のドメインに転移可能かどうかを研究しました。主な利点として、大規模データセットの処理能力と、アマゾンレビュー、同人小説短編、Redditコメントなど複数の異なるドメインにおけるゼロショット転移が挙げられます。製品背景には、ドメイン間著者検証における革新的な研究と、自然言語処理分野における応用可能性が含まれます。この製品はオープンソースであり、Apache-2.0ライセンスに従い、無料で使用できます。
ターゲットユーザー :
主な対象ユーザーは、自然言語処理分野の研究者や開発者、特に著者検証、テキスト分類、ドメイン間転移学習に興味のある方々です。この製品は、著者表現に基づくアプリケーションの研究開発に強力なツールを提供し、オープンソースであるため幅広くカスタマイズおよび改良できるため、最適です。
使用シナリオ
研究者はLLNL/LUARモデルを使用して、アマゾンレビューデータセットで著者検証タスクを実行します。
開発者はこのモデルを使用して、Redditコメントデータセットでヘイトスピーチ検出の実験を行います。
教育機関はLLNL/LUARモデルを使用して、学生にドメイン間転移学習と著者表現学習の方法を教授します。
製品特徴
ドメイン間著者検証:異なるドメイン間で学習した著者表現を転移させることができます。
ゼロショット転移学習:ターゲットドメインの学習データなしで著者検証を実行できます。
大規模データ処理:アマゾンレビューやRedditコメントなどの大規模データセットを処理できます。
複数の事前学習済みウェイト:SBERT事前学習済みウェイトを提供しており、ユーザーは直接使用したり、さらに微調整したりできます。
結果の容易な再現:論文の実験結果を再現するためのスクリプトを提供しており、研究者はモデルの性能を検証できます。
柔軟なパス設定:ユーザーは設定ファイルを変更して、データとモデルの保存パスをカスタマイズできます。
多言語サポート:主に英語を使用していますが、モデルとコードは多言語テキスト処理をサポートしています。
使用チュートリアル
1. Python環境と必要な依存パッケージをインストールします。提供されているスクリプトを実行して仮想環境を作成し、依存関係をインストールできます。
2. SBERT事前学習済みウェイトをダウンロードしてインストールします。提供されているリンクと説明に従って操作してください。
3. 必要に応じて、Reddit、Amazon、Fanfictionデータセットを含むデータセットをダウンロードして前処理します。
4. 設定ファイル`file_config.ini`を修正し、データパス、モデル出力パスなどを設定します。
5. 提供されているスクリプトまたはコマンドラインツールを使用して、モデルの学習と評価を行います。例えば`python main.py`コマンドを使用します。
6. `./scripts/reproduce/table_N.sh`スクリプトを実行して、論文の結果を再現します。
7. 必要に応じて、コードを修正し、Pull Requestを送信してプロジェクトに貢献できます。
おすすめAI製品

Deepmind Gemini
Geminiは、Google DeepMindが開発した次世代人工知能システムです。テキスト、画像、ビデオ、音声、コード間のシームレスな相互作用をサポートし、マルチモーダル推論を実行できます。言語理解、推論、数学、プログラミングなど、複数の分野において従来のシステムを凌駕し、現在までに開発された最も強力なAIシステムの一つとなっています。エッジコンピューティングからクラウドコンピューティングまで、様々なニーズに対応できる3つの異なる規模のバージョンがあります。Geminiは、クリエイティブデザイン、ライティングアシスタント、質問応答、コード生成など、幅広い分野で活用できます。
AIモデル
11.4M
中国語精選

Liblibai
LiblibAIは、中国をリードするAI創作プラットフォームです。強力なAI創作能力を提供し、クリエイターの創造性を支援します。プラットフォームは膨大な数の無料AI創作モデルを提供しており、ユーザーは検索してモデルを使用し、画像、テキスト、音声などの創作を行うことができます。また、ユーザーによる独自のAIモデルのトレーニングもサポートしています。幅広いクリエイターユーザーを対象としたプラットフォームとして、創作の機会を平等に提供し、クリエイティブ産業に貢献することで、誰もが創作の喜びを享受できるようにすることを目指しています。
AIモデル
6.9M