異端開発室

分散並行学習とメモリ制約への対応 従来のデータ並行（DP）や分散データ並行（DDP）では、ミニバッチ入力の分割と勾配同期が主たる手法でした。しかし、パラメータ数が数千億規模に達した現代の大規模モデル訓練において、単一アクセラレータのメモリ容量は明確なボトルネックとなっています。完全分片データ並行（Fully Sharded Data Parallel: FSDP）は、モデルパラメー ...

RWKVモデルのGGML形式変換：PyTorchからCPU最適化モデルへの移行ガイド rwkv.cppは、RWKVアーキテクチャ向けに設計された軽量かつ高速な推論エンジンであり、INT4/INT5/INT8およびFP16形式をCPU上でサポートしています。この記事では、PyTorchで保存されたRWKVモデルをGGML形式に変換するプロセスについて詳細に説明します。これにより、GPU不要の環境でも高効率な自然言 ...

ControlNet の制御原理とアーキテクチャ ControlNet は、拡散モデルの生成過程に空間的条件情報を付与し、出力画像の構造的制約を実現する拡張モジュールです。基盤となる Stable Diffusion の重みを凍結した状態で、並列接続されたトレーニング可能な「ゼロコンボリューション（Zero Convolution）」レイヤーを介して、エッジ、深度マップ、人体姿勢などの制御信号を特徴 ...

リモートサーバーでのVS Code開発環境構築 ローカルマシンからリモートサーバーにVS Codeで接続する手順を解説します。まず、ローカル側に「Remote - SSH」拡張機能をインストールします。次に、ローカルとリモートのVS Codeバージョンを整合させる必要があります。 バージョン確認とサーバー準備 ローカルVS Codeでバージョン情報を取得します： Ctrl+Shift+P → "About: A ...

生成モデル概要 GPTやQwenなどの一般的な生成モデルは主にテキスト生成に特化していますが、画像生成技術では主に以下の三つのアプローチが主流です：1. GAN、2. VAE、3. 拡散モデル。本記事では生成モデルの基礎としてGANについて詳細に解説します。 GAN（Generative Adversarial Networks）の理論 GANの核心概念は、生成ネットワークGがデータ分布を学習し、識別ネット ...

Python基礎構文の習得 Pythonの制御構文と反復処理を学習。if文による条件分岐、for/whileループの活用方法を習得。 employee1 = {"name":"Yamada", "age":30, "salary":450000} employee2 = {"name":"Tanaka", "age":28, "salary":380000} employees = [employee1, employee2] for emp in employees: for key, value in emp.items(): print(f"{key}:{value}" ...

Residual Network (ResNet) の基礎構造 ResNet（Residual Network）は、非常に深いニューラルネットにおいて勾配消失問題を解決するために考案されたアーキテクチャです。この手法の核となるのは「スキップ接続（Skip Connection）」または「残差パス」と呼ばれる仕組みで、入力を直接出力層へ結合することで、F(x) + x という形での学習を実現します。これにより、層が深 ...

YOLO12 による監視システム向けリアルタイム歩行者検知の実装 現代のセキュリティおよび交通管理システムにおいて、智能監視カメラの需要は急速に拡大しています。従来の監視手法は人力に依存しており、事後確認が主流でしたが、リアルタイムでの物体検知技術の導入により、自動的な異常検知や人流分析が可能になりました。本稿では、2025 年に発表された最新モデル「YOLO ...

StepFunが開発したGOT-OCR-2.0-hfは、多言語対応の高性能OCRモデルであり、日常的な文書から複雑な図表や数式、楽譜に至るまで幅広いコンテンツを高精度で認識可能です。1024×1024ピクセルの高解像度入力に対応し、複数ページの一括処理や動的領域分割、色・座標指定による選択的認識など柔軟な機能を備えています。Apache 2.0ライセンスで公開されており、Hugging Face経 ...

分散ディープラーニングの実装において、異なるGPUを使用するためのフレームワーク統合が重要です。特にTensorFlowやPyTorchなどの多様なフレームワークを一つのプラットフォームで利用できるHorovodは便利です。この記事では、Horovodを使った分散環境のセットアップ方法について説明します。 分散学習アーキテクチャ: PSとRing-Allreduce Parameter Server (PS) アーキ ...