Hadoop MapReduceにおけるカスタム出力フォーマットの実装方法
カスタム出力フォーマットの基本概念
HadoopのOutputFormatは、MapReduceジョブの出力データの形式と書き込み方法を制御します。デフォルトではTextOutputFormatが使用され、キーと値のペアをテキストファイルに書き込みますが、特定の要件に対応するにはカスタム出力フォーマットの実装が必要になります。
実装手順
FileOutputFormatを継承したクラスを作成
getRec ...
7月12日 17:00 投稿
IntelliJ IDEAでSparkクラスタに接続する方法
まずScalaプラグインをインストールします。File → Settings → PluginsでScalaプラグインを検索し、Installをクリックしてインストールします。
File → New Project → Mavenを選択し、新しいMavenプロジェクトを作成します。GroupIdとArtifactIdを入力します。
pom.xmlファイルを編集し、プロジェクトに必要な依存関係を追加します：
<properties>
...
7月7日 20:25 投稿
HDFSの基本操作とJava APIによるファイル管理
第1課：HDFSコマンドライン操作
右側のコマンドラインでHadoopを起動し、以下の操作を行ってください。
HDFS上に/usr/output/ディレクトリを作成する；
ローカルにhello.txtファイルを作成し、「HDFSのブロックはディスクのブロックより大きい。これはシークオーバーヘッドを最小限に抑えるためである。」と記述する；
hello.txtをHDFSの/usr/output/ディレクトリへアップ ...
7月1日 23:54 投稿
MySQLとHiveのインストールと設定
MySQLのインストール
MySQLをインストールする前に、MariaDBとの競合を避けるため、既にインストールされているMariaDBをアンインストールする必要があります。
// MariaDBがインストールされているか確認
rpm -qa | grep mariadb
// MariaDBを強制的にアンインストール
rpm -e --nodeps mariadb-libs
次に、MySQLのRPMパッケージをインストールします。まず、配布ファイ ...
7月1日 00:19 投稿
Hive 実行環境における NoSuchMethodError とクラスパス設定の解消法
Hive 2.3 および Hadoop 2.7 構成環境において、コマンド実行時に予期せぬ例外が発生する事象について解説します。特に Sqoop を経由して Hive へのデータ取り込みを試みた際、Facebook Thrift サービス関連のメソッドが見つからないというエラーが観測されました。
エラー現象の確認
Hive CLI または Sqoop ジョブ実行時に、コンソール出力に以下のスタックトレースが記 ...
6月28日 16:36 投稿
Ambroseの使い方：データワークフローの可視化と監視プラットフォーム完全ガイド
Ambroseは、データ処理ワークフローのリアルタイム可視化と監視に特化した強力なオープンソースプラットフォームです。データエンジニア、アナリスト、開発者は、このツールを利用してデータワークフローの実行状態を簡単に追跡し、ボトルネックを特定し、パフォーマンスを最適化できます。大規模データ処理プロジェクトにおいて不可欠な監視ツールです。
Ambroseとは？
Am ...
6月22日 17:22 投稿
Hive分散クラスターの構築ガイド
Hive分散クラスターの構築方法
一、Hiveコンポーネントのインストール
1. 環境準備（CentOS仮想マシンとHiveインストールパッケージ）
ここではコミュニティ版を使用します：community
ダウンロード後、HiveコンポーネントパッケージをCentOS仮想マシンにアップロードし、llコマンドでアップロードの成功を確認します。
アップロード成功後、最も重要なステップはインスト ...
6月13日 00:08 投稿
Hadoopのディレクトリアイテム制限エラー：解決策と対策
問題の概要：
Hiveジョブを実行した際にスケジューリングシステムが失敗し、以下のようなエラーが発生しました：
java.io.IOException: java.net.ConnectException: Call From #HostName/#IP to #HostName:10020 failed on connection exception: java.net.ConnectException: 拒否された接続; 詳細は http://wiki.apache.org/hadoop/ConnectionRefused を参照してください
...
6月9日 21:13 投稿
Hiveテーブルの作成とデータのインポート・エクスポート方法
HiveQLはSQL-92準拠のクエリ言語を提供し、Hadoop上でデータ分析を行うための主要ツールとして利用されます。以下にテーブル操作の具体的な実装例を示します。
テーブル定義の実装
USE development;
DROP TABLE IF EXISTS user_profile;
CREATE TABLE user_profile(
user_id INT,
full_name STRING,
birth_year INT,
skills ARRAY<STRING>,
metrics MAP<STRING,FL ...
6月6日 19:52 投稿
ビッグデータによるECサイトユーザー行動分析と可視化：卒業設計プロジェット
0 はじめに
本稿では、ビッグデータ技術を活用したECサイトにおけるユーザー行動分析と可視化に関する卒業設計プロジェクトを紹介します。このプロジェクトでは、淘宝（タオバオ）のユーザーデータを分析し、購買行動のパターンや傾向を明らかにします。
データセット概要
本プロジェクトで使用するデータセットは淘宝のユーザー行動データであり、期間は2017年11月25日 ...
5月30日 07:15 投稿