複数GPUを使った並列学習の実践
本記事ではPyTorchを例に、複数GPUを使用した並列学習について説明します。
なぜ複数GPUでの並列学習が必要なのか
その理由は主に2つあります。1つ目はモデルが単一のGPUに収まらない場合、複数のGPU上で完全なモデルを動作させるためです（例えば初期のAlexNetなど）。2つ目は、複数のGPUを並列計算に使用することでトレーニング速度を向上させるためです。
一般的な複 ...
7月14日 23:39 投稿
Horovodを用いた分散ディープラーニング環境の構築
分散ディープラーニングの実装において、異なるGPUを使用するためのフレームワーク統合が重要です。特にTensorFlowやPyTorchなどの多様なフレームワークを一つのプラットフォームで利用できるHorovodは便利です。この記事では、Horovodを使った分散環境のセットアップ方法について説明します。
分散学習アーキテクチャ: PSとRing-Allreduce
Parameter Server (PS) アーキ ...
5月27日 00:34 投稿