DeepSeek-R1からQwenへの知識蒸留：TextBrewerを用いた実装ガイド
大規模言語モデルの性能を軽量なモデルに継承する知識蒸留は、実用的なAIデプロイメントにおいて重要な技術です。本記事では、DeepSeek-R1-Distill-Qwen-1.5Bを教師モデル、Qwen-2.5-1.5Bを生徒モデルとして、TextBrewerライブラリを使用した蒸留プロセスを解説します。
蒸留の目的と概要
本実装の主な目標は、DeepSeek-R1が持つ推論能力をQwen-2.5-1.5Bに転移させること ...
9月12日 02:19 投稿
LLMファインチューニングからOllamaデプロイまでの実装フロー
LLaMA-Factoryを活用した言語モデルのカスタマイズから推論環境構築までの実践的手順を解説します。以下の手順で実施します。
環境構築
ネットワーク最適化後、リポジトリをクローンして依存関係をインストールします。
source /etc/network_accelerator
git clone --depth 1 https://github.com/hiyouga/LLaMA-Engine.git
cd LLaMA-Engine
pip install -e ".[torch,eval] ...
7月8日 23:10 投稿