特徴エンジニアリング：特徴選択の原理と実装（後編）
0x01 線形モデルと正則化を用いた特徴選択
1. 基本概念
すべての特徴量が同じスケール上にある場合、最も重要な特徴量はモデル内で最も高い係数を持つべきであり、出力変数と無関係な特徴量はゼロに近い係数値を持つべきです。シンプルな線形回帰モデルを使用する場合でも、データがノイズが少ない（または特徴量の数に対してデータ量が多い）場合、特徴量（相対的に）独 ...
7月17日 20:43 投稿
サポートベクトルマシン（SVM）におけるソフトマージンと正則化の理論と実装
1. サポートベクトルマシンの柔軟性と堅牢性
サポートベクトルマシン（SVM）は、高い汎化性能と数学的背景を持つ強力な学習アルゴリズムです。しかし、現実世界のデータにはノイズや外れ値が含まれており、完全に線形分離できるケースは稀です。このような制約を克服するために導入された概念が「ソフトマージン」と「正則化」です。これらはモデルの複雑さと誤差の許容度 ...
7月17日 18:24 投稿
正則化を用いた線形回帰：リッジ回帰とLasso回帰の実装
正則化の基礎概念
正則化は過学習を防ぐための手法であり、損失関数にパラメータ制約項を追加します。線形回帰モデルでは主に2種類の正則化項が使用されます：
L1ノルム（パラメータの絶対値和）：Lasso回帰
L2ノルムの二乗（パラメータの二乗和）：リッジ回帰
コスト関数の可視化
単純な線形回帰を例に、正則化の効果を考察します。仮定するモデルとコスト関数：
# サ ...
5月19日 05:45 投稿