異端開発室

本記事では、Dockerを活用してHDFSクラスタを効率的に構築する手順を解説します。HDFSクラスタの設定は、Hadoopクラスタ設定の代表例であり、Dockerを利用することで、開発環境の構築が格段に容易になります。 各ノードの設定について HDFSクラスタを構成する各ノード、特にNameNodeとDataNode間での設定の差異について説明します。NameNodeはDataNodeをSSH経由で管理する ...

ビルド環境の要件 Apache Flinkをソースコードから正常にビルドするには、JDK 8以降とMaven 3.2.5の組み合わせが推奨されます。Maven 3.3.x以降では依存関係のシェーディング（Shading）処理に不具合が生じる可能性があるため、3.2.5を使用することで安定したライブラリ生成が可能になります。また、PowerMockを利用したユニットテストを正しく実行するためには、Java 8以 ...

Azkabanプラグインアーキテクチャの概要 Azkabanのプラグインシステムは、モジュール化と高い拡張性を実現するように設計されています。主に「Jobタイプ」と「Viewer」の2つのカテゴリに分類されます。Jobタイププラグインはタスク実行機能を拡張し、ViewerプラグインはHDFS上のファイル閲覧機能を強化します。これらはJavaベースで実装され、特定のインターフェースとプロ ...

1. OS基盤のネットワークとセキュリティ設定 CentOS 7系をベースに、Hadoopクラスターの単一ノードを構築するためのOSレベルの初期設定を行います。 1.1 ファイアウォールの無効化 Hadoopコンポーネント間の通信を阻害しないよう、OS標準のファイアウォールを停止し、自動起動も解除します。 systemctl stop firewalld systemctl disable firewalld systemctl status fire ...

前提条件と準備 まず、VMware Workstation や VirtualBox などの仮想化ソフトウェアをインストールし、SSH クライアント（例：FinalShell）を用意します。これにより、複数の端末操作が容易になります。 Ubuntu 22.04 の取得 公式サイト https://ubuntu.com/download/desktop から Ubuntu 22.04 LTS の ISO イメージをダウンロードします。LTS 版は長期サポート対象のため ...

この記事では、シェルスクリプトを使用してHadoopのNameNodeとDataNodeを一括で起動および停止する方法を紹介します。シンプル版と、より高度な機能を備えた拡張版の2種類を提供します。拡張版は、より多くの状態チェックと情報表示を追加しています。スクリプトを再利用する場合は、以下の点に注意してください。 1. HADOOP_HOME変数を自身のHadoopインストールパスに変 ...

1. 環境の準備 Hadoopのインストールパッケージ内のshareディレクトリには、Hadoopに関連するすべてのコンテンツが含まれています。インストールパッケージのshareフォルダに入ると、docとhadoopの2つのフォルダが見つかります。docにはHadoopの全ドキュメントが、hadoopフォルダにはHadoop開発に必要なすべてのJARファイルと、それらの依存関係が対応するlibフォルダに配 ...

Apache KylinのアーキテクチャとSQLクエリ Apache Kylinは、HadoopおよびSparkエコシステム上で動作するオープンソースの分散型分析データウェアハウスです。元々eBayによって開発されたこのプラットフォームは、標準的なSQLインターフェースと多次元分析（OLAP）機能を提供し、テラバイト級の大規模データに対して亜秒级别の応答速度を実現します。その核心は、事前に計算 ...

Ubuntu 22.04 環境の初期設定 まず、Ubuntu 22.04 をインストールし、root ユーザーで作業を開始します。 export LANG=C.UTF-8 echo "root:111111" | chpasswd -m apt update apt install -y openssh-server iproute2 ufw ssh-keygen -t rsa -f /root/.ssh/id_rsa -N '' sed -i 's/#PasswordAuthentication yes/PasswordAuthentication yes/' /etc/ssh/sshd_config sed -i ...

前提環境の構築サーバーの基本設定Hadoopクラスターは3台構成で構築する。各ノードのホスト名は以下のように定義する。node-master (マスターノード)node-worker1 (ワーカーノード1)node-worker2 (ワーカーノード2)まず、マスターノードとなるサーバー側で基本設定を行う。1. ホスト名の変更以下のコマンドを実行し、ホスト名を変更する。vim /etc/hostname # 内容を node- ...