# モデル微調整

Bakeryは、オープンソースAIモデルの微調整と収益化に特化したオンラインプラットフォームです。AIスタートアップ企業、機械学習エンジニア、研究者の方々に、AIモデルの微調整と市場での収益化を容易にする便利なツールを提供します。シンプルで使いやすいインターフェースと強力な機能が主な特長で、ユーザーは迅速にデータセットを作成またはアップロードし、モデル設定を微調整して、市場で収益化できます。BakeryはオープンソースAI技術の発展と開発者へのビジネスチャンス拡大を目指しています。具体的な価格設定はページに明示されていませんが、AI分野のプロフェッショナルに効率的なツールを提供することを目指しています。

ReFTはオープンソースの研究プロジェクトであり、深層強化学習技術を用いて大規模言語モデルを微調整し、特定タスクにおける性能向上を目指しています。研究者や開発者が論文の結果を再現できるように、詳細なコードとデータを提供しています。ReFTの主な利点としては、強化学習を利用してモデルパラメータを自動調整できること、および微調整によって特定タスクにおけるモデルの性能を向上できることが挙げられます。製品背景情報として、ReFTはCodellamaとGalacticaモデルに基づいており、Apache2.0ライセンスに準拠しています。

智譜清流AIオープン開発プラットフォームは、企業向けのAIインテリジェントエージェント開発プラットフォームです。智譜大規模モデル技術を活用し、企業が専門レベルのインテリジェントエージェントを迅速に構築し、大規模モデルから業務シナリオへの迅速な適用を実現します。モデルサービス、インテリジェントエージェント構築、データセキュリティ、効果評価、システム統合などの機能を提供し、企業はイントラネット展開とローカルストレージによるデータ保護を通じて、データセキュリティと知的財産権を確保できます。智譜AIオープンプラットフォームは、その優れた技術、柔軟なワークフロー編成、企業が定義したデータ知識とツールの自律的呼び出し、そして成熟したAIネイティブアプリケーション実装経験により、企業のデジタル変革を強力に支援します。

Premは、パーソナライズされたLLM（小型言語モデル）の開発を加速させるAIプラットフォームです。直感的で使いやすい開発プラットフォームを提供し、生成AIソリューションの構築を可能にします。また、独自のビジネスニーズに応えるための、カスタマイズされたモデルの微調整とトレーニングサービスを提供します。Premを使用することで、高度な専門知識がなくても、AIの可能性を最大限に活用し、その所有権を得ることができます。

XTunerは、InternLM、Llama、Baichuan、Qwen、ChatGLMなどの大規模言語モデル（LLM）向けに設計された、効率的で柔軟性が高く、機能豊富な微調整ツールキットです。ほぼすべてのGPU上でのLLMおよびVLMの事前学習と微調整をサポートし、FlashAttentionやTritonカーネルなどの高性能操作を自動的にスケジュールして、トレーニングスループットを向上させます。XTunerはDeepSpeedと互換性があり、様々なZeRO最適化技術をサポートしています。また、様々なLLMとVLM（LLaVAなど）をサポートし、あらゆる形式のデータセットに対応できる優れたデータパイプラインを備えています。さらに、XTunerはQLoRA、LoRA、全パラメーター微調整を含む様々なトレーニングアルゴリズムをサポートしており、ユーザーはニーズに最適なソリューションを選択できます。

MindEye2プロジェクトは、わずか1時間のfMRIデータのみを用いて、複数の被験者でモデルを事前学習し、新たな被験者で微調整することで、視覚的知覚の再構成を実現する方法を示しています。

Cappyは、大型多タスク言語モデルの性能と効率を向上させるための新しい手法です。RoBERTaをベースとした軽量な事前学習済み評価器であり、パラメーター数はわずか3.6億個です。Cappyは、分類タスクを独立して解決したり、言語モデルの性能向上のための補助的なコンポーネントとして機能したりします。下流タスクでCappyを微調整することで、教師あり学習情報を効果的に統合し、モデルの性能を向上させることができます。さらに、言語モデルのパラメーターへの逆伝播は不要なため、メモリ消費量を抑えることができます。Cappyはオープンソースとクローズドソースの両方の言語モデルに適用可能であり、効率的なモデル微調整手法です。

SCEditは、アリババによって提案された、効率的な生成モデル微調整フレームワークです。このフレームワークは、下流のテキストから画像への生成タスクにおける微調整能力を強化し、特定の生成シーンへの迅速な適応を実現します。LoRAと比較して、トレーニングメモリコストを30～50％削減できます。さらに、ControlNet条件生成に必要なパラメータ量のわずか7.9％で、制御可能な画像生成タスクに直接拡張でき、メモリ使用量を30％削減できます。エッジマップ、深度マップ、セグメンテーションマップ、ポーズ、カラーマップ、画像補完など、さまざまな条件付き生成タスクをサポートしています。

Windows AI Studioは、Azure AI StudioやHugging Faceなどのリポジトリから最先端のAI開発ツールとモデルを集約することで、生成AIアプリケーションの開発を簡素化します。開発者は、ローカルアプリケーションで使用される最新の少人数言語モデル（SLM）を微調整、カスタマイズ、デプロイできます。モデル構成UIやガイド付き手順を含む、エンドツーエンドのガイド付きワークスペース設定を提供し、Phiなどの一般的なSLMや、Llama 2やMistralなどの最先端モデルの微調整を支援します。