ゼロから作るニューラルネットワークの実装
ニューラルネットワーク構成要素の実装
全体構造
このプロジェクトではjoelnetという名前のシンプルなニューラルネットワークライブラリを実装します。このライブラリは主要なニューラルネットワーク要素を含んでおり、PyTorchなどのフレームワークの基本概念を理解するのに役立ちます。
テンソルの定義
from numpy import ndarray as Tensor
ここではGPUによる高速化は ...
5月27日 12:36 投稿
SparkによるK-Meansクラスタリングの実装
K-Meansアルゴリズムは距離ベースのクラスタリング手法であり、反復処理を用いてK個のクラスタ中心を計算し、データポイントをK個のクラスに分類します。
MLlibにおけるK-Meansアルゴリズムの実装原理は、複数のK-Means実行（各実行をrunと呼びます）を行い、最も優れたクラスタリング結果を中心として返します。初期のクラスタ中心はランダムに設定されるか、KMean++アル ...
5月24日 17:57 投稿
LSTMによる銅先物価格の予測
本稿では、LSTM（Long Short-Term Memory）モデルを使用して銅先物価格を予測するコードについて解説します。コードは、モデルの訓練部分と予測部分の2つに分かれます。
モデル訓練部分
以下のPythonコードは、LSTMモデルを訓練するための関数です。TensorFlowを使用してモデルを構築し、Adamオプティマイザで学習を進めます。
import tensorflow as tf
import numpy as np ...
5月22日 17:59 投稿
Pythonによる非教師学習：K平均法（K-Means）の実装と可視化
K平均法（K-Means）の基本概念
K平均法は、教師なし学習における代表的な分割型クラスタリングアルゴリズムです。与えられたデータ集合をユーザーが指定した数（K個）のグループに分類し、各データポイントが自身に割り当てられたクラスタの重心（平均ベクトル）とユークリッド距離的に最も近くなるよう反復的に最適化を行います。この手法は「類似した特徴を共有するデー ...
5月21日 18:48 投稿
大規模モデルトレーニング完全ガイド：監督学習からデータ前処理まで
モデルトレーニング手法
監督学習
監督学習：AIモデルはラベル付きのデータサンプルを使用して学習し、サンプルの実際の値と予測値から損失（Loss）値を計算します。監督学習ではデータサンプルにラベル付けが必要なため、データ量が少ないシナリオにのみ適用されます。
MPモデルの論理ゲートが最も基本的な監督学習のトレーニング例です。
非監督学習
非監督学習：AIモデ ...
5月19日 07:11 投稿
AIモデルのフォーマット変換プロセス
機械学習フレームワークを使用する際、学習環境と推論環境が異なる場合があります。たとえば、画像認識モデルをCaffeで学習したものの、本番環境ではTensorFlowで推論を行うといったケースです。
このような状況に対応するために、異なる学習フレームワークで作成されたモデル間の相互変換が求められます。モデル変換には主に「直接変換」と「規格化変換」の2つのアプロー ...
5月17日 21:13 投稿
ロジスティック回帰における評価指標：ROC曲線とAUCの詳細解説
基本的な定義以下の用語は、分類問題における予測結果の評価に用いられます：真正陽性（TP）：実際には正例であり、かつモデルが正例と予測した場合偽陽性（FP）：実際には負例だが、モデルが正例と予測した場合偽陰性（FN）：実際には正例だが、モデルが負例と予測した場合真正陰性（TN）：実際にも負例であり、モデルも負例と予測した場合真正陽性率（TPR）（再現率）は ...
5月17日 10:27 投稿