Linux環境でのZooKeeperのセットアップと基本操作ガイド
Java実行環境の準備
まず、システムを更新してOpenJDKをインストールします。
sudo apt update
sudo apt install openjdk-11-jre-headless
ZooKeeperの導入と起動
公式ミラーからアーカイブを取得し、展開します。
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar xzf zookeeper-3.4.14.tar.gz
設定ファイルを作成してサ ...
6月29日 20:42 投稿
CentOS 8 環境における RabbitMQ、Kafka および Supervisor の構築ガイド
ベース環境とリポジトリの準備
CentOS 8 系(および RHEL 互換ディストリビューション)で RabbitMQ を動作させるには、Erlang 実行環境の整備が必須となります。公式が提供するパッケージリポジトリを登録し、依存パッケージの自動解決を有効化します。
# Erlang リポジトリの登録
curl -1sLf https://dl.cloudsmith.io/public/rabbitmq/erlang/rpm/gpg.key | sudo rpm -- ...
6月24日 01:48 投稿
ZooKeeperによるサービス発見の実装(C++)
リポジトリ:git@github.com:ccx19930930/services_register_and_discovery.git
参考リンク:https://www.cnblogs.com/haippy/archive/2013/02/21/2920280.html
down_service_mgr.h
1 #ifndef _DOWN_SERVICE_MANAGER_H_
2 #define _DOWN_SERVICE_MANAGER_H_
3
4 #include "base_class.h"
5
6 class CDownServiceManager : CUnCopyable
7 {
8 public:
...
6月14日 22:49 投稿
分散ログ収集基盤の構築:Elasticsearch + Kafka + ZooKeeper + rsyslog
多くのシステムで共通する課題として、開発者がサーバーに直接アクセスできないことや、ログが各サーバーに散在し検索が困難であること、さらに大量のログデータによりリアルタイムなクエリが困難であることが挙げられます。これらの問題を解決するために、集中型のログ収集・分析基盤を構築します。
前提条件とアーキテクチャ概要
本環境では、以下のソフトウェアスタッ ...
6月8日 17:42 投稿
ZooKeeper を用いたシンプルなサービス登録・検出機能(C++): 接続管理層の実装
ZooKeeper クライアントとの永続的な接続を管理し、自動再接続・監視機能を備えた単一ヒープ生成的なハンドラクラスを C++ で実装します。
コピー禁止基底クラス
class CNonCopyable {
protected:
CNonCopyable() = default;
virtual ~CNonCopyable() = default;
CNonCopyable(const CNonCopyable&) = delete;
CNonCopyable& operator=(const CNonC ...
6月3日 19:26 投稿
ZooKeeper、KafkaクラスタとFilebeat+Kafka+ELKアーキテクチャの実装ガイド
一、ZooKeeper
1.1 概要
ZooKeeperは、分散アプリケーションの管理フレームワークです。オープンソースの分散型サービスで、分散環境における一貫性の問題を解決するためのApacheプロジェクトです。
1.2 ZooKeeperの役割
主な役割として、分散アプリケーションクラスタにおける一貫性の問題解決があります。ファイルシステムとして、各種分散アプリケーションの登録とメ ...
5月31日 00:36 投稿
Ubuntu 18.04でApache Kafkaをインストールする方法
技術的概要
Apache Kafkaは、大量のリアルタイムデータを効率的に処理するための分散メッセージブローカーです。Kafkaクラスターはスケーラブルかつフォールトトレラントであり、他のメッセージブローカー(例: ActiveMQやRabbitMQ)よりも高いスループットを持ちます。このチュートリアルでは、Ubuntu 18.04にApache Kafka 2.1.1をインストールする手順を説明します。
...
5月28日 09:45 投稿
CentOS 7 環境における Hadoop 2.10 高可用性クラスタ構築
システム構成
CentOS 7 上で Hadoop 2.10 の高可用性クラスタを構築します。以下の6台のサーバを準備します:
NameNode: 2台
DataNode: 4台
JournalNode: 3台
ZooKeeper: 3台
IPアドレス
ホスト名
役割
192.168.30.141
s141
NameNode1, ZKFC, ZooKeeper
192.168.30.142
s142
DataNode, JournalNode, ZooKee ...
5月25日 07:25 投稿
ClickHouse の複数インスタンスによる 3シャード2レプリカクラスタ構築手順
3台の CentOS 7 サーバー上で ClickHouse の複数インスタンスを構成し、3シャード・2レプリカの高可用クラスタを構築する方法を説明します。
サーバー構成
ホスト名IPアドレスインストール済みパッケージインスタンス1ポートインスタンス2ポート
centf8118.sharding1.db192.168.81.18clickhouse-server, clickhouse-client90009002
centf8119.shard ...
5月15日 22:53 投稿