CentOS 7 環境における Hadoop 2.10 高可用性クラスタ構築
システム構成
CentOS 7 上で Hadoop 2.10 の高可用性クラスタを構築します。以下の6台のサーバを準備します:
NameNode: 2台
DataNode: 4台
JournalNode: 3台
ZooKeeper: 3台
IPアドレス
ホスト名
役割
192.168.30.141
s141
NameNode1, ZKFC, ZooKeeper
192.168.30.142
s142
DataNode, JournalNode, ZooKee ...
5月25日 07:25 投稿
Hadoop Archive（HAR）による小ファイルのアーカイブ管理
アーカイブコマンドの概要
Hadoop Archive（HAR）は、HDFS上での多数の小規模ファイルによって引き起こされるNameNodeのメタデータ負荷を軽減するための仕組みです。複数の小ファイルを1つの.harファイルにパッケージ化することで、名前空間のエントリ数を削減しつつ、実際のデータアクセスには影響を与えません。クライアント側からは通常のHDFSパスと同様に扱うことがで ...
5月23日 01:43 投稿
HadoopにおけるKerberos認証の設定手順
Hadoop環境でのKerberos利用準備
------------
HadoopクラスタにKerberosを導入する際には以下のステップが必要です。1. サービスごとに専用のシステムユーザを設定する必要があります。2. 各サービス起動時に適切なユーザで実行する必要があります。3. 全ノードに以下のユーザとグループを作成する必要があります。 ユーザ構成：ユーザ名 : グループ名 デーモンhdfs : ha ...
5月17日 11:54 投稿
Ubuntu22でのHadoop3.3.6環境構築手順
必要なソフトウェア
Ubuntu 22.04 64bit、Hadoop 3.3.6、Java 8
システムアップデート
sudo apt update
sudo apt upgrade -y
SSHサーバーのインストール
sudo apt install openssh-server -y
SSH接続確認
systemctl status ssh
pdshのインストール
sudo apt install pdsh -y
環境変数の設定
/etc/profileに以下を追加：
export PDSH_RCMD_TYPE=ssh
SSH鍵の設定
ssh-k ...
5月10日 12:30 投稿