XTunerを活用した大規模言語モデルのシングルGPU低コストファインチューニング実践
1. ファインチューニングの基礎
大規模な事前学習モデル（ベースモデル）は、膨大なデータから学習されますが、そのままでは「肺癌とは何ですか？」という質問に対して、適切な回答を生成できません。これは、モデルが単に訓練データの分布に沿った最も近い単語を出力しようとするからです。そこで、指示従属ファインチューニング（Instruction Following Fine-tuning） ...
7月24日 19:04 投稿
実践ガイド：ms-swiftを活用したGLM4.5-Vの画像テキスト生成モデルの構築
マルチモーダルAIの高度な学習パイプライン
多模態AI（マルチモーダルAI）の進化に伴い、視覚情報と言語情報を統合し、文脈に即した自然な記述を生成させる技術の重要性が増しています。しかし、画像認識と自然言語生成を融合させるには、データ前処理、分散学習、そして推論環境の構築まで、複雑な工程と膨大な計算リソースが必要となるのが現状です。魔搭（ModelScope） ...
7月15日 20:32 投稿
XTunerを用いたQLoRAによるパーソナルアシスタントLLMの知識注入手法
XTunerフレームワークを活用し、軽量大言語モデル（InternLM2-Chat-1.8B）をパーソナルアシスタントとしてカスタマイズするプロセスを解説します。QLoRA方式を採用することで、限定的なGPUメモリ環境でも効率的なパラメータ微調整が可能であり、モデルの自己認識や特定役割への適応を確実に実現できます。
環境構築と依存関係の準備
微調整作業を開始する前に、専用仮想環 ...
6月21日 01:09 投稿
XTunerを用いた大規模言語モデルのパーソナライズドアシスタント化ガイド
XTunerによるファインチューニングワークフロー
オープンソース大規模言語モデル（LLM）を特定の役割や自己認識を持つアシスタントに進化させるためには、パラメータ効率的なファインチューニング手法が不可欠です。本記事では、上海AI研究所が開発したXTunerフレームワークとQLoRAアルゴリズムを組み合わせて、1.8Bパラメータ級の言語モデルをパーソナルアシスタントとし ...
5月19日 15:52 投稿