Loraモデルのファインチューニングにおける重要な注意点
一、マルチGPUでの学習
方法1: AutoModelForCausalLM.from_pretrainedのパラメータであるdevice_mapを"auto"に変更すると、モデルとデータが複数のGPUに自動的に割り当てられます。
方法2: Accelerateを使用することもできます。これは分散学習ツールキットであり、基礎的な分散学習機能を提供します。これは主に手動の学習ループと連携するように設計されてお ...
6月30日 22:43 投稿