大規模言語モデルの微調整入門:概念とフレームワーク
前言
大規模言語モデル(LLM)は、確率生成システムです。
知識のタイムリー性:モデルの知識は訓練データの時間点までに限定されます。
推論の制限:本質的には確率予測であり、複雑な数学的推論では誤りが生じやすい(deepseekのアーキテクチャは異なる)。
専門領域の盲点:特定の垂直領域の知識が不足しています。
幻覚現象:一見合理的だが実 ...
8月3日 07:27 投稿
LLMファインチューニングからOllamaデプロイまでの実装フロー
LLaMA-Factoryを活用した言語モデルのカスタマイズから推論環境構築までの実践的手順を解説します。以下の手順で実施します。
環境構築
ネットワーク最適化後、リポジトリをクローンして依存関係をインストールします。
source /etc/network_accelerator
git clone --depth 1 https://github.com/hiyouga/LLaMA-Engine.git
cd LLaMA-Engine
pip install -e ".[torch,eval] ...
7月8日 23:10 投稿