Dockerを用いたHDFSクラスタ構築ガイド
本記事では、Dockerを活用してHDFSクラスタを効率的に構築する手順を解説します。HDFSクラスタの設定は、Hadoopクラスタ設定の代表例であり、Dockerを利用することで、開発環境の構築が格段に容易になります。
各ノードの設定について
HDFSクラスタを構成する各ノード、特にNameNodeとDataNode間での設定の差異について説明します。NameNodeはDataNodeをSSH経由で管理する ...
10月31日 20:59 投稿
Azkabanプラグイン開発の実践：カスタムJobタイプとViewer拡張の実装手法
Azkabanプラグインアーキテクチャの概要
Azkabanのプラグインシステムは、モジュール化と高い拡張性を実現するように設計されています。主に「Jobタイプ」と「Viewer」の2つのカテゴリに分類されます。Jobタイププラグインはタスク実行機能を拡張し、ViewerプラグインはHDFS上のファイル閲覧機能を強化します。これらはJavaベースで実装され、特定のインターフェースとプロ ...
9月11日 02:02 投稿
Linux環境におけるHadoop単一ノードクラスタの構築と設定
1. OS基盤のネットワークとセキュリティ設定
CentOS 7系をベースに、Hadoopクラスターの単一ノードを構築するためのOSレベルの初期設定を行います。
1.1 ファイアウォールの無効化
Hadoopコンポーネント間の通信を阻害しないよう、OS標準のファイアウォールを停止し、自動起動も解除します。
systemctl stop firewalld
systemctl disable firewalld
systemctl status fire ...
8月14日 17:55 投稿
HDFSをJava APIで操作する
1. 環境の準備
Hadoopのインストールパッケージ内のshareディレクトリには、Hadoopに関連するすべてのコンテンツが含まれています。インストールパッケージのshareフォルダに入ると、docとhadoopの2つのフォルダが見つかります。docにはHadoopの全ドキュメントが、hadoopフォルダにはHadoop開発に必要なすべてのJARファイルと、それらの依存関係が対応するlibフォルダに配 ...
8月2日 22:50 投稿
HDFS での一般的な Java API 操作
0 - Hadoop 環境の設定 (Windowsシステム)
以下の手順は Windows システムに適用されます。
Windows システムで Hadoop 関連のコードを直接実行すると、`winutils.exe` と `hadoop.dll` ファイルが不足しているというエラーが表示されることがあります。
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
WARN util.Nat ...
7月28日 00:23 投稿
DolphinScheduler 2.x 単一ノード疑似クラスタ構築手順
動作要件
OS バージョン
ディストリビューション推奨バージョン
Red Hat Enterprise Linux7.x 以降
CentOS7.x 以降
Oracle Linux7.x 以降
Ubuntu LTS16.04 以降
ハードウェア仕様
CPUメモリディスクネットワークノード数
4 コア以上8 GB 以上SAS1 Gbps NIC1 台以上
デプロイ方式の選択
DolphinScheduler は以下の 3 パターンに対応しています。
Standalone：す ...
7月20日 20:19 投稿
CentOS 7におけるHadoopクラスターおよびHive環境の構築手順
前提環境の構築サーバーの基本設定Hadoopクラスターは3台構成で構築する。各ノードのホスト名は以下のように定義する。node-master (マスターノード)node-worker1 (ワーカーノード1)node-worker2 (ワーカーノード2)まず、マスターノードとなるサーバー側で基本設定を行う。1. ホスト名の変更以下のコマンドを実行し、ホスト名を変更する。vim /etc/hostname
# 内容を node- ...
7月15日 17:40 投稿
HDFSの基本操作とJava APIによるファイル管理
第1課：HDFSコマンドライン操作
右側のコマンドラインでHadoopを起動し、以下の操作を行ってください。
HDFS上に/usr/output/ディレクトリを作成する；
ローカルにhello.txtファイルを作成し、「HDFSのブロックはディスクのブロックより大きい。これはシークオーバーヘッドを最小限に抑えるためである。」と記述する；
hello.txtをHDFSの/usr/output/ディレクトリへアップ ...
7月1日 23:54 投稿
HDFSの主要メカニズム：レプリケーション、ラック認識、負荷分散
HDFSのレプリケーションメカニズム
HDFSでは、ファイルは物理的にブロック単位で保存されます。ブロックサイズは`hdfs-site.xml`ファイル内の`dfs.block.size`パラメータで設定できます：
<!-- ブロックサイズ、単位：バイト -->
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
ブロッ ...
6月29日 20:25 投稿
Hadoopのディレクトリアイテム制限エラー：解決策と対策
問題の概要：
Hiveジョブを実行した際にスケジューリングシステムが失敗し、以下のようなエラーが発生しました：
java.io.IOException: java.net.ConnectException: Call From #HostName/#IP to #HostName:10020 failed on connection exception: java.net.ConnectException: 拒否された接続; 詳細は http://wiki.apache.org/hadoop/ConnectionRefused を参照してください
...
6月9日 21:13 投稿