大規模言語モデルの微調整入門：概念とフレームワーク
前言
大規模言語モデル（LLM）は、確率生成システムです。
知識のタイムリー性：モデルの知識は訓練データの時間点までに限定されます。
推論の制限：本質的には確率予測であり、複雑な数学的推論では誤りが生じやすい（deepseekのアーキテクチャは異なる）。
専門領域の盲点：特定の垂直領域の知識が不足しています。
幻覚現象：一見合理的だが実 ...
8月3日 07:27 投稿
XTunerを用いた大規模言語モデルのパーソナライズドアシスタント化ガイド
XTunerによるファインチューニングワークフロー
オープンソース大規模言語モデル（LLM）を特定の役割や自己認識を持つアシスタントに進化させるためには、パラメータ効率的なファインチューニング手法が不可欠です。本記事では、上海AI研究所が開発したXTunerフレームワークとQLoRAアルゴリズムを組み合わせて、1.8Bパラメータ級の言語モデルをパーソナルアシスタントとし ...
5月19日 15:52 投稿