GPT-OSS-20Bを用いた固有表現抽出（NER）のファインチューニング実践ガイド
GPT-OSS-20Bを用いた固有表現抽出（NER）のファインチューニング実践ガイド
企業がスマートドキュメント分析システムを構築したいが、大規模モデルを使うには高額なAPI費用がかかり、機密データをクラウドに送る必要があるため頭を痛めていることはありませんか？さらに、ブラックボックスのクローズドソースモデルでは出力制御が難しく、エンティティ抽出には多くの正規表 ...
8月5日 22:21 投稿
XTunerを活用した大規模言語モデルのシングルGPU低コストファインチューニング実践
1. ファインチューニングの基礎
大規模な事前学習モデル（ベースモデル）は、膨大なデータから学習されますが、そのままでは「肺癌とは何ですか？」という質問に対して、適切な回答を生成できません。これは、モデルが単に訓練データの分布に沿った最も近い単語を出力しようとするからです。そこで、指示従属ファインチューニング（Instruction Following Fine-tuning） ...
7月24日 19:04 投稿
ViT事前学習モデルを用いた画像分類の実装手法
ViTモデルの基本構造
Vision Transformer（ViT）はトランスフォーマーアーキテクチャを画像処理に応用したモデルです。画像を固定サイズのパッチに分割し、各パッチを埋め込みベクトルに変換します。位置情報を付加した後、トランスフォーマーエンコーダーで特徴抽出を行います。
class VisionTransformer(nn.Module):
def __init__(self, image_dim=224, patch_dim=1 ...
7月6日 00:16 投稿
AI技術学習ノートシリーズ001：FastLanguageModel.get_peft_model関数の各パラメータ詳細解説
以下に、コード内のFastLanguageModel.get_peft_model関数の各パラメータに関する詳細な解説と、実際の企業環境でのファインチューニングにおける選択基準を示します：
パラメータの詳細とファインチューニングへの影響
1. r=32（ランク）
役割：LoRAアダプターの低ランク行列の次元を制御し、訓練可能なパラメータ数に直接影響します。
影響：
rが大きい場合：アダプター ...
5月25日 07:07 投稿