XTunerを活用した大規模言語モデルのシングルGPU低コストファインチューニング実践
1. ファインチューニングの基礎
大規模な事前学習モデル（ベースモデル）は、膨大なデータから学習されますが、そのままでは「肺癌とは何ですか？」という質問に対して、適切な回答を生成できません。これは、モデルが単に訓練データの分布に沿った最も近い単語を出力しようとするからです。そこで、指示従属ファインチューニング（Instruction Following Fine-tuning） ...
7月24日 19:04 投稿
XTunerを用いたQLoRAによるパーソナルアシスタントLLMの知識注入手法
XTunerフレームワークを活用し、軽量大言語モデル（InternLM2-Chat-1.8B）をパーソナルアシスタントとしてカスタマイズするプロセスを解説します。QLoRA方式を採用することで、限定的なGPUメモリ環境でも効率的なパラメータ微調整が可能であり、モデルの自己認識や特定役割への適応を確実に実現できます。
環境構築と依存関係の準備
微調整作業を開始する前に、専用仮想環 ...
6月21日 01:09 投稿
XTunerを用いた大規模言語モデルのパーソナライズドアシスタント化ガイド
XTunerによるファインチューニングワークフロー
オープンソース大規模言語モデル（LLM）を特定の役割や自己認識を持つアシスタントに進化させるためには、パラメータ効率的なファインチューニング手法が不可欠です。本記事では、上海AI研究所が開発したXTunerフレームワークとQLoRAアルゴリズムを組み合わせて、1.8Bパラメータ級の言語モデルをパーソナルアシスタントとし ...
5月19日 15:52 投稿