ViT事前学習モデルを用いた画像分類の実装手法
ViTモデルの基本構造
Vision Transformer（ViT）はトランスフォーマーアーキテクチャを画像処理に応用したモデルです。画像を固定サイズのパッチに分割し、各パッチを埋め込みベクトルに変換します。位置情報を付加した後、トランスフォーマーエンコーダーで特徴抽出を行います。
class VisionTransformer(nn.Module):
def __init__(self, image_dim=224, patch_dim=1 ...
7月6日 00:16 投稿