畳み込みニューラルネットワークのモデル圧縮技術：実装と原理の解説

畳み込みニューラルネットワークの効率的な実装に向けたアプローチ

一般的に、畳み込みニューラルネットワーク（CNN）は深くなるほど複雑になり、精度向上が見込めますが、これに伴いパラメータ量が増大し、計算コストも跳ね上がります。モデル圧縮の目的は、既に学習済みで高精度な大規模なプリトレーニングモデルを、リソース制約のある環境でも動作可能な軽量な小規模モデルへ変換することにあります。この技術的プロセスは、原模型に対する改変の度合いに応じて「前端圧縮」と「後端圧縮」の二つに大別されます。

前端圧縮: ネットワークのアーキテクチャそのものを大きく崩さずに行う手法です。具体的には、既存モデルへの層削減やフィルタ剪枝、あるいは外部の教師ネットワークからの知識転移（知識蒸留）などが含まれます。
後端圧縮: モデルの内部表現を根本的に書き換える手法であり、極度のサイズ削減を目指します。これには、数値表現の変更や、構造自体の再構成が含まれ、従来のハードウェアやライブラリとの互換性を損なうリスクがあるため、メンテナンスコストが高くなりがちです。

1. 低秩近似（Low-Rank Approximation）

CNN の重み行列は通常、非常に稠密であり、演算負荷が大きいです。これを解決するために、稠密な行列を複数の低次元な行列の積として近似する低秩近似アルゴリズムが用いられます。

理論的には、線形代数における行阶梯型行列の階数は非零行数と等しいことが知られています。具体的には、Sindhwani らは構造化行列を用いた分解法を提案しました。また、Denton らは全結合層に対して特異値分解（SVD）を適用し、パラメータ数を劇的に減らす手法を提唱しています。

実装上の課題

中小規模なネットワークでは効果絶大ですが、大規模ネットワークになると超パラメータ探索の空間が急激に広がります。そのため、主に学術研究の領域にとどまっており、産業現場での普及は慎重に進められています。

2. 剪枝とスパース性制約

学習済みのモデルに対し、不要な部分を削ぎ落とす操作が剪枝です。一般的なプロセスは以下の通りです：

個々のニューロンまたは連結の重要度を評価する。
閾値未満の重みや接続を削除（剪枝）する。
精度低下を補うため、剪枝後のモデルを微調整（Fine-tuning）する。
上記のプロセスを繰り返し行う。

Han らの方法では閾値以下の重みをすべて除去しますが、これは非構造的なスパース性をもたらします。つまり、ゼロ以外の値が離散して分布するため、CPU のキャッシュ効率が悪化し、実際の高速化が阻害される要因となりました。

この対策として、単一のニューロンではなく「フィルター単位」で廃棄する粒度制御が試みられます。フィルターの重要度は、L1 ノルムや L2 ノルムといった統計量の絶対値を指標にして判断されます。また、訓練過程において正則化項を付加することで、強制的に多くの重みを 0 に近づけるスパース化手法も存在します。

まとめ

剪枝は汎用的かつ有効な手法であり、特に他の後端圧縮技術（量子化など）と組み合わせることで、最大の圧縮率を達成できます。現在では工業界でも標準的な技術の一つとなっています。

3. パラメータ量子化（Quantization）

後段圧縮の代表的な手法であり、連続値を持つ重みを少数の代表値にマッピングすることで保存容量を削減します。これはクラスタリングベースのアプローチに近く、各パラメータの代わりにインデックスを保持することで、メモリ消費を大幅に抑えます。

スカラ量子化: 最も単純な形式ですが、精度低下のリスクがあります。
乗積量子化 (Product Quantization, PQ): ベクトル単位で構造を持たせた方法で、精度維持に寄与します。
QCNN: Wu らは、単なる量化誤差よりも出力再構成誤差を最小化することを目標としたユニバーサルな量子化アルゴリズムを提案しました。

留意点: 一度量子化されたモデルは変更が困難であり、専用の推論エンジンや深層学習フレームワークへの対応が必要となるため、移植性に課題を残しています。

4. 二値化ネットワーク（Binarized Networks）

重みを +1 または -1 の二値に制限することで、演算を加法のみ（ビット演算を含む）に変換し、メモリ帯域と計算量を極限まで抑制する手法です。

梯度計算の問題と解決

二値化すると通常のバックプロパゲーションで勾配を計算できません。これを回避するため、Courbariaux らは BinaryConnect アルゴリズムを考案しました。これは訓練中に浮動小数点値を持ち、順伝播時のみ符号関数で量子化する方式です。

訓練開始: 重みは浮動小数点数で初期化。
順伝播: 重みを sign(x) 関数により±1 に固定し畳み込みを実行（実際には加算のみ）。
逆伝播: Straight-Through Estimator などの工夫を用いて、浮動小数点数の重みに更新情報を反映させます。
最終段階: 完全に二値化された重みへ固定し、推論に使用。

設計上の注意点

カーネルサイズ: 1x1 の畳み込みは情報伝達能力が落ちやすいため避けるべきです。
チャネル数と活性化: チャネル数の増加と活性化関数のビット幅（activation bit）はバランスを取る必要があります。bit 数が不足するとモデル容量が遊んでしまいます。
活性化のビット幅: 4bit 以下に抑えるのが現実的です。それ以上は計算量が反比例せず、精度向上が頭打ちになります。

二値化ネットワークの実装例（残差ブロックの簡易版）：

def create_residual_unit(input_tensor, out_channels, stride_val, dim_match=False):
    """
    残差ユニットの簡易定義
    input_tensor: 入力テンソル
    out_channels: 出力チャンネル数
    stride_val: ストライド値
    """
    # バッチ正規化と Activation
    act1 = batch_normalization_layer(input_tensor)
    
    # 第1畳み込み層
    conv1 = convolution_layer(
        input=act1, 
        filters=out_channels, 
        kernel_size=3, 
        stride=stride_val, 
        padding=1
    )
    
    bn_conv1 = batch_normalization_layer(conv1)
    
    # 第2畳み込み層
    conv2 = convolution_layer(
        input=bn_conv1, 
        filters=out_channels, 
        kernel_size=3, 
        stride=(1, 1), 
        padding=1
    )
    
    # ショートカット接続の判定
    if dim_match:
        shortcut = input_tensor
    else:
        shortcut = convolution_layer(
            input=act1, 
            filters=out_channels, 
            kernel_size=3, 
            stride=stride_val, 
            padding=1
        )
    
    return activate_addition(conv2, shortcut)

5. 知識蒸留（Knowledge Distillation）

知識蒸留は、高性能かつ巨大な「教師モデル（Teacher）」から、低精度だが軽量な「生徒モデル（Student）」へと学習した知識を移転する技術です。

生徒モデルの損失関数は、通常以下の 2 つの要素から構成されます：

教師モデルが生成した「ソフトラベル（確率分布）」と生徒の予測とのクロスエントロピー。
実際のデータラベル（ハードラベル）とのクロスエントロピー。

これらを加重和として計算します。ここで重要なのが温度係数（Temperature T）です。T は確率分布を滑らかにするパラメータであり、T 値を高くすることで、正しいクラスだけでなく「近い可能性のあるクラス」の情報も含めて学習させ、過学習を防ぐとともに汎化性能を高める効果があります。

実装ロジックの例（TensorFlow 風の構文）：

# 教師と生徒のロジット出力を取得（logits）
teacher_logits = model_teacher.get_output()
student_logits = model_student.get_output()

# テンプレートを考慮して logits をスケーリング
scaled_student = student_logits / temperature_scalar
scaled_teacher = teacher_logits / temperature_scalar

# ラベルエンコーディング（one-hot）
ground_truth_hot = encode_labels(labels)

# 2 つの損失項を計算
# 1. ソフトラベル損失（KL ダイバージェンスに近い形）
distillation_loss = keras.losses.categorical_crossentropy(scaled_student, softmax(scaled_teacher))

# 2. ハードラベル損失（通常交叉エントロピー）
hard_label_loss = keras.losses.categorical_crossentropy(scaled_student, ground_truth_hot)

# 最終的な損失関数は両者の加重和
total_loss = alpha * distillation_loss + (1.0 - alpha) * hard_label_loss

T の値としては 1 から 20 の間が推奨され、実験結果に応じて最適な設定を選びます。また、教師モデルのトレーニング終了後に生徒モデルを教えるケースもあれば、同時に並列学習を行うケースもあります。

6. 浅層・軽量型ネットワークの活用

アーキテクチャレベルでの改善は、より少ない層数で深い网络の機能を追従させるアプローチです。ただし、単純に層を削るだけでは表現力が劣化するため注意が必要です。代わりに、MobileNetV2 や ShuffleNetV2 のような、特定の入力処理（Depthwise Separable Convolution など）や構造に最適化された軽量ネットワークをバックボーンに採用することが一般的です。

タグ: Convolutional-Neural-Networks Model-Compression quantization Knowledge-Distillation Edge-AI

7月11日 19:35 投稿

異端開発室