ViT事前学習モデルを用いた画像分類の実装手法
ViTモデルの基本構造
Vision Transformer（ViT）はトランスフォーマーアーキテクチャを画像処理に応用したモデルです。画像を固定サイズのパッチに分割し、各パッチを埋め込みベクトルに変換します。位置情報を付加した後、トランスフォーマーエンコーダーで特徴抽出を行います。
class VisionTransformer(nn.Module):
def __init__(self, image_dim=224, patch_dim=1 ...
7月6日 00:16 投稿
AI技術学習ノートシリーズ001：FastLanguageModel.get_peft_model関数の各パラメータ詳細解説
以下に、コード内のFastLanguageModel.get_peft_model関数の各パラメータに関する詳細な解説と、実際の企業環境でのファインチューニングにおける選択基準を示します：
パラメータの詳細とファインチューニングへの影響
1. r=32（ランク）
役割：LoRAアダプターの低ランク行列の次元を制御し、訓練可能なパラメータ数に直接影響します。
影響：
rが大きい場合：アダプター ...
5月25日 07:07 投稿