VGGネットワークによる深層畳み込みニューラルネットの構築
VGGアーキテクチャの設計思想
AlexNetはLeNetに比べて深い構造を持ち、精度の向上を実現した。この流れを受けて、さらにネットワークを深く・大規模化する方法が模索された。計算コストを抑えつつ表現力を高めるために、VGGでは複数の小さな畳み込み層を積み重ねる戦略を採用している。
VGGブロックの構成
VGGの基本単位である「VGGブロック」は以下の要素で構成される：
...
9月16日 15:56 投稿
VS Codeを用いた深層学習環境の構築とRTX 4080 Super vs 4090のベンチマーク比較
1. PowerShellの実行環境設定
1.1 実行ポリシーの変更
WindowsのPowerShellでスクリプトの実行が制限されている場合、Conda環境の有効化などでエラーが発生することがあります。以下のコマンドを管理者権限のPowerShellで実行し、実行ポリシーを RemoteSigned に変更します。
# 実行ポリシーをRemoteSignedに設定
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Sc ...
9月15日 19:25 投稿
ドロップアウト正則化の仕組みと活用法
ドロップアウト正則化の仕組みと活用法
ディープラーニングモデルの学習において、過学習はよく起こる問題です。訓練データでは高い精度を示すにもかかわらず、テストデータや新しいサンプルでは性能が急激に低下する場合、そのモデルは過学習している可能性があります。この課題に対処するため、研究者たちはさまざまな正則化手法を提案しました。その中でも、シンプルか ...
9月15日 19:16 投稿
DeepSeek-R1からQwenへの知識蒸留：TextBrewerを用いた実装ガイド
大規模言語モデルの性能を軽量なモデルに継承する知識蒸留は、実用的なAIデプロイメントにおいて重要な技術です。本記事では、DeepSeek-R1-Distill-Qwen-1.5Bを教師モデル、Qwen-2.5-1.5Bを生徒モデルとして、TextBrewerライブラリを使用した蒸留プロセスを解説します。
蒸留の目的と概要
本実装の主な目標は、DeepSeek-R1が持つ推論能力をQwen-2.5-1.5Bに転移させること ...
9月12日 02:19 投稿
大規模言語モデル推論における Attention 層の実装：Triton と FlashAttention の統合
効率的な KV キャッシュ管理と Attention 計算
大規模言語モデル（LLM）の推論プロセスにおいて、Attention 層の最適化はレイテンシ削減の鍵となります。特に、Qwen3 などの最新アーキテクチャでは、Triton によるカスタムカーネルを用いた KV キャッシュの書き込みと、FlashAttention ライブラリを組み合わせたハイブリッドなアプローチが採用されています。この構成に ...
9月2日 09:25 投稿
PyTorchによるニューラルネットワークの実践ガイド
このガイドでは、PyTorchの基本的な概念について学びます：テンソル、自動微分、ニューラルネットワークモジュール、オプティマイザ、カスタムモジュール、および動的計算グラフ。各トピックには実行可能なコードサンプルが含まれており、NumPyから始めてPyTorchの高度な機能に移行する方法を示します。
1. PyTorchの主要な特徴
テンソル（Tensor）: NumPyのndarrayと似 ...
9月1日 00:15 投稿
YOLOv5 Backboneモジュールの実装
この記事では、YOLOv5のBackboneモジュールを実装する手順を説明します。
環境設定
言語: Python 3.8
開発環境: PyCharm
データセット: 天気予測データセット（参照: 深度学習Day-03）
ライブラリ: torch==1.12.1+cu113, torchvision==0.13.1+cu113
初期設定
1. GPUの設定
import torch
import torch.nn as nn
from torchvision import transforms, datasets
import warn ...
8月28日 14:46 投稿
計算グラフにおける制御フローの実装方法
計算グラフは数学的には有向非巡回グラフ（DAG）として表現され、ニューラルネットワークモデルを一貫した形式で抽象化できます。しかし、プログラミングでは条件分岐やループなどの制御フロー構造が頻繁に出現します。このような制御フローを計算グラフ上でどう表現するかは、計算グラフの重要な課題です。制御フローの導入により、開発者は分岐選択やループ制御を計算グ ...
8月24日 02:32 投稿
時系列モデル保存形式の比較とベストプラクティス
モデル保存の技術的課題と選定基準
時系列モデルのトレーニング完了後、以下のような問題に直面したことはありませんか？保存されたモデルファイルが巨大すぎてストレージコストが増加、特定のフレームワークに依存しすぎてデプロイが困難、異なるプラットフォーム間での互換性が欠如しているなど、モデル保存形式の選択は、開発効率から生産環境における安定性・パフォ ...
8月18日 15:22 投稿
LivePortrait運用環境における災害復旧と事業継続性（BCP）設計ガイド
システム概況と設計方針
LivePortraitは高精度な顔写真アニメーション生成パイプラインを提供するアプリケーションであり、本番環境では大規模な推論タスクを安定的に捌く必要がある。サービスの中断を最小化し、予期せぬインフラ障害やソフトウェア異常に対して迅速に対応するため、体系的な災害復旧（DR）および事業継続計画（BCP）が必須である。以下の節では、重要コン ...
8月14日 06:36 投稿