Linux環境でのZooKeeperのセットアップと基本操作ガイド

Java実行環境の準備 まず、システムを更新してOpenJDKをインストールします。 sudo apt update sudo apt install openjdk-11-jre-headless ZooKeeperの導入と起動 公式ミラーからアーカイブを取得し、展開します。 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz tar xzf zookeeper-3.4.14.tar.gz 設定ファイルを作成してサ ...

6月29日 20:42 投稿

CentOS 8 環境における RabbitMQ、Kafka および Supervisor の構築ガイド

ベース環境とリポジトリの準備 CentOS 8 系(および RHEL 互換ディストリビューション)で RabbitMQ を動作させるには、Erlang 実行環境の整備が必須となります。公式が提供するパッケージリポジトリを登録し、依存パッケージの自動解決を有効化します。 # Erlang リポジトリの登録 curl -1sLf https://dl.cloudsmith.io/public/rabbitmq/erlang/rpm/gpg.key | sudo rpm -- ...

6月24日 01:48 投稿

ZooKeeperによるサービス発見の実装(C++)

リポジトリ:git@github.com:ccx19930930/services_register_and_discovery.git 参考リンク:https://www.cnblogs.com/haippy/archive/2013/02/21/2920280.html down_service_mgr.h 1 #ifndef _DOWN_SERVICE_MANAGER_H_ 2 #define _DOWN_SERVICE_MANAGER_H_ 3 4 #include "base_class.h" 5 6 class CDownServiceManager : CUnCopyable 7 { 8 public: ...

6月14日 22:49 投稿

分散ログ収集基盤の構築:Elasticsearch + Kafka + ZooKeeper + rsyslog

多くのシステムで共通する課題として、開発者がサーバーに直接アクセスできないことや、ログが各サーバーに散在し検索が困難であること、さらに大量のログデータによりリアルタイムなクエリが困難であることが挙げられます。これらの問題を解決するために、集中型のログ収集・分析基盤を構築します。 前提条件とアーキテクチャ概要 本環境では、以下のソフトウェアスタッ ...

6月8日 17:42 投稿

ZooKeeper を用いたシンプルなサービス登録・検出機能(C++): 接続管理層の実装

ZooKeeper クライアントとの永続的な接続を管理し、自動再接続・監視機能を備えた単一ヒープ生成的なハンドラクラスを C++ で実装します。 コピー禁止基底クラス class CNonCopyable { protected: CNonCopyable() = default; virtual ~CNonCopyable() = default; CNonCopyable(const CNonCopyable&) = delete; CNonCopyable& operator=(const CNonC ...

6月3日 19:26 投稿

ZooKeeper、KafkaクラスタとFilebeat+Kafka+ELKアーキテクチャの実装ガイド

一、ZooKeeper 1.1 概要 ZooKeeperは、分散アプリケーションの管理フレームワークです。オープンソースの分散型サービスで、分散環境における一貫性の問題を解決するためのApacheプロジェクトです。 1.2 ZooKeeperの役割 主な役割として、分散アプリケーションクラスタにおける一貫性の問題解決があります。ファイルシステムとして、各種分散アプリケーションの登録とメ ...

5月31日 00:36 投稿

Ubuntu 18.04でApache Kafkaをインストールする方法

技術的概要 Apache Kafkaは、大量のリアルタイムデータを効率的に処理するための分散メッセージブローカーです。Kafkaクラスターはスケーラブルかつフォールトトレラントであり、他のメッセージブローカー(例: ActiveMQやRabbitMQ)よりも高いスループットを持ちます。このチュートリアルでは、Ubuntu 18.04にApache Kafka 2.1.1をインストールする手順を説明します。 ...

5月28日 09:45 投稿

CentOS 7 環境における Hadoop 2.10 高可用性クラスタ構築

システム構成 CentOS 7 上で Hadoop 2.10 の高可用性クラスタを構築します。以下の6台のサーバを準備します: NameNode: 2台 DataNode: 4台 JournalNode: 3台 ZooKeeper: 3台 IPアドレス ホスト名 役割 192.168.30.141 s141 NameNode1, ZKFC, ZooKeeper 192.168.30.142 s142 DataNode, JournalNode, ZooKee ...

5月25日 07:25 投稿

ClickHouse の複数インスタンスによる 3シャード2レプリカクラスタ構築手順

3台の CentOS 7 サーバー上で ClickHouse の複数インスタンスを構成し、3シャード・2レプリカの高可用クラスタを構築する方法を説明します。 サーバー構成 ホスト名IPアドレスインストール済みパッケージインスタンス1ポートインスタンス2ポート centf8118.sharding1.db192.168.81.18clickhouse-server, clickhouse-client90009002 centf8119.shard ...

5月15日 22:53 投稿