勾配ブースティング決定木（GBDT）とXGBoostの基礎と実装手法
勾配ブースティング決定木（GBDT）の概要
勾配ブースティング決定木（GBDT: Gradient Boosting Decision Tree）は、複数の決定木を逐次的に構築し、各ステップで前段のモデルが引き起こした誤差を修正していくアンサンブル学習アルゴリズムです。GBDTはBoosting手法の一種であり、通常は「回帰決定木」を弱学習器として使用します。
GBDTの核となる考え方は、損失関数の勾 ...
10月3日 20:09 投稿
MNISTデータセットを用いた統計的機械学習とディープラーニングの比較検証
手書き数字識別タスクにおいて、従来の統計的機械学習手法と近年のディープラーニング手法の性能差を明らかにすることは、モデル選定における重要な指針となります。本記事では、標準的なMNISTデータセットを用い、ディープニューラルネットワーク（DNN）、畳み込みニューラルネットワーク（CNN）、およびサポートベクターマシン（SVM）などの代表的なアルゴリズムを同一条 ...
10月1日 12:39 投稿
ナイーブベイズ分類モデルの実装と応用
ナイーブベイズ分類器は、ベイズの定理に基づく確率的分類アルゴリズムであり、「ナイーブ（単純）」という名前は、特徴量間の独立性を仮定することに由来する。つまり、各入力特徴がクラスラベルに対して互いに独立であると仮定してモデルを構築する。
主な特徴
古典的な確率論に基づいており、計算効率が高く、特に高次元データ（例：テキスト）に適している。
欠 ...
9月19日 23:57 投稿
金融リスク管理における特徴量選択の実践：ランダムフォレストとRFEの活用
金融リスク管理における特徴量選択の重要性
金融リスク管理の現場では、ユーザーの行動ログ、決済履歴、外部信用情報など、膨大な次元の特徴量を扱います。しかし、これらの中にはノイズや冗余な情報が多く含まれています。特に金融ドメインでは、モデルの予測精度だけでなく「説明可能性（Explainability）」が強く求められます。規制当局への対応や審査プロセスの透明性 ...
9月9日 09:12 投稿
scikit-learnでOpenMLデータを活用する：fetch_openmlの実践テクニック
OpenML連携の基礎：機械学習データの取得入門
機械学習の学習初期段階で、適切なデータセットの確保は常に課題となる。公開されているデータを個別にダウンロードし、フォーマット変換や前処理を行う作業は、本質的なモデル構築よりも時間を消費しがちだ。
scikit-learnのfetch_openml関数は、この課題を解決するための統合的アプローチを提供する。OpenMLという公開リポ ...
8月29日 12:46 投稿
PythonにおけるK-meansクラスタリングの実装と評価手法
K-meansモデルの構築とラベリング
クラスタリング分析を行う場合、まず対象となる特徴量を抽出し、アルゴリズムのパラメータを定義します。scikit-learnのKMeansクラスを利用すると、効率的にモデルを構築できます。
import pandas as pd
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
# データセットの読み込み
dataset = pd.read_csv("transport ...
8月1日 17:12 投稿
機械学習アルゴリズムのAPIまとめ
sklearn API
1. K-近傍法 (K-Nearest Neighbors)
1.1 データ読み込み
データセットは sklearn.datasets から取得できます。
datasets.load_*: 小さなデータセットを読み込む
datasets.fetch_*: 大きなデータセットを読み込む
戻り値は以下の形式で提供されます。
data: 特徴量の配列
target: ラベルの配列
DESCR: データセットの説明
2. デ ...
7月28日 01:07 投稿
逻辑回帰による二値分類入門
線形回帰や多項式回帰を学んだ後、次に取り組むべきはロジスティック回帰（Logistic Regression）です。これは主に二値分類問題を解くための手法で、「ある事象が起こるか否か」を確率的に予測します。たとえば、商品が売れるかどうか、患者が特定の病気に罹患しているか、といった「Yes/No」の判断に広く使われます。
ロジスティック回帰の特徴
ロジスティック回帰は名前 ...
7月24日 21:21 投稿
Pythonによる線形回帰モデルの評価と実装
線形回帰モデルの評価指標
決定係数（R-squared）は、線形回帰モデルの適合度を示す指標です。0から1の範囲で値を取り、1に近いほどモデルの説明力が高いことを示します。
調整済み決定係数（Adjusted R-squared）は、変数の数を考慮した適合度指標です。同様に0から1の範囲で値を取り、1に近いほどモデルの適合度が高いことを示します。
P値は、説明変数の統計的有意性を ...
7月22日 23:54 投稿
Pythonを用いたアンサンブル学習とハイパーパラメータ最適化の実践ガイド
アンサンブル学習の全体像
単一モデルでは限界が見えた際、複数の「弱い学習器」を組み合わせることで精度を大きく向上させる手法がアンサンブル学習である。本記事では代表的な3パターン——Bagging、Boosting、Voting——を取り上げ、scikit-learnを使った実装例を示す。
Bagging系手法
Bagged Decision Trees
Bootstrap標本を複数生成し、それぞれで決定木を学習させた後、 ...
7月17日 22:41 投稿