Apache Spark を用いた FP-Growth アルゴリズムによる頻出パターン発掘
データ分析において、アソシエーションルール学習は取引データベース内の隠れた相関関係を抽出するための重要な手法です。その応用例として最も知られているのがマーケティング分野での市場バスケット分析であり、顧客の購買履歴から特定の組み合わせで購入されやすい商品を特定し、陳列配置の改善や推奨システムの構築に役立てます。
基礎概念の定義
このアルゴリズムを ...
6月27日 22:22 投稿
Spark MLlibによるトピックモデリング実装
本稿では、Apache Spark MLlibを用いたLDA（Latent Dirichlet Allocation）による文書トピック抽出の実践的な実装を紹介します。10件のテキストドキュメント（論文2件、ニュース記事8件）を対象に、語彙構築・前処理・モデル学習・結果解釈の一連のフローを再設計し、現代的なSpark APIとベストプラクティスに基づいて再構成しました。
依存関係の設定
MySQLデータベース ...
6月21日 19:49 投稿
Spark機械学習：協調フィルタリングアルゴリズム
協調フィルタリング（Collaborative Filtering、CF）アルゴリズムは一般的に使用される推薦システムの手法であり、その核心思想は類似のユーザーまたはアイテムを特定し、ユーザーに類似のアイテムを推薦するか、アイテムを類似のユーザーに推奨することです。ユーザーが商品に対して好みを持つかどうかを評価する方法は多様であり、例えば評価点、購入履歴、ページ滞在時 ...
6月12日 23:29 投稿
SparkによるK-Meansクラスタリングの実装
K-Meansアルゴリズムは距離ベースのクラスタリング手法であり、反復処理を用いてK個のクラスタ中心を計算し、データポイントをK個のクラスに分類します。
MLlibにおけるK-Meansアルゴリズムの実装原理は、複数のK-Means実行（各実行をrunと呼びます）を行い、最も優れたクラスタリング結果を中心として返します。初期のクラスタ中心はランダムに設定されるか、KMean++アル ...
5月24日 17:57 投稿