mPLUG-Owl3-2B蒸留モデル1.3B化による性能劣化の実測比較
蒸留後のmPLUG-Owl3-2Bが1.3Bパラメータに縮小した際の精度・速度・メモリ実測レポート
多モーダル大規模言語モデル「mPLUG-Owl3-2B」を蒸留し、パラメータ数を約35%削減した1.3B版を作成し、実環境での性能劣化を定量的に評価した。結果として、精度は最大4.7ポイント低下するものの、推論速度は52%向上し、VRAMは5.2 GBで動作するため、RTX 3060 12 GBでも快適に稼働で ...
8月11日 10:49 投稿