DolphinScheduler 2.x 単一ノード疑似クラスタ構築手順

動作要件 OS バージョン ディストリビューション推奨バージョン Red Hat Enterprise Linux7.x 以降 CentOS7.x 以降 Oracle Linux7.x 以降 Ubuntu LTS16.04 以降 ハードウェア仕様 CPUメモリディスクネットワークノード数 4 コア以上8 GB 以上SAS1 Gbps NIC1 台以上 デプロイ方式の選択 DolphinScheduler は以下の 3 パターンに対応しています。 Standalone:す ...

7月20日 20:19 投稿

ZooKeeper 3.8.4 の導入と C API のビルド手順

ダウンロード wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4.tar.gz tar -zxvf apache-zookeeper-3.8.4.tar.gz cd apache-zookeeper-3.8.4 直接使用 cd conf cp zoo_sample.cfg zoo.cfg # サンプル設定ファイルをコピーして使用 cd ../bin/ ./zkServer.sh start # サーバーを起動 ./zkServer.sh status # サーバーの状態を確認 C API ...

7月20日 01:48 投稿

ClickHouseにおけるクラスタ環境の高可用性構成

環境概要: 4台のCentOS7マシンにClickHouseがインストールされている状況を想定する ホスト名 IPアドレス ソフトウェア ポート番号 シャード レプリカ centf8118.sharding1.db 192.168.81.18 clickhouse-server、clickhouse-client 9000 01 01 centf8119.sharding2.db 192.168.81.19 clickhouse-server、clickhouse-client 9000 01 02 centf8120.sharding3.db ...

7月11日 16:05 投稿

ZooKeeper C言語クライアントのビルドと基本接続

1. ZooKeeper C言語APIのビルド手順 ZooKeeper 3.4.14バージョンを前提として、C言語クライアントライブラリをビルドします。 wget "http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz" tar -xzf zookeeper-3.4.14.tar.gz cd zookeeper-3.4.14/zookeeper-client/zookeeper-client-c ./configure make sudo make install インス ...

7月4日 18:02 投稿

Linux環境でのZooKeeperのセットアップと基本操作ガイド

Java実行環境の準備 まず、システムを更新してOpenJDKをインストールします。 sudo apt update sudo apt install openjdk-11-jre-headless ZooKeeperの導入と起動 公式ミラーからアーカイブを取得し、展開します。 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz tar xzf zookeeper-3.4.14.tar.gz 設定ファイルを作成してサ ...

6月29日 20:42 投稿

CentOS 8 環境における RabbitMQ、Kafka および Supervisor の構築ガイド

ベース環境とリポジトリの準備 CentOS 8 系(および RHEL 互換ディストリビューション)で RabbitMQ を動作させるには、Erlang 実行環境の整備が必須となります。公式が提供するパッケージリポジトリを登録し、依存パッケージの自動解決を有効化します。 # Erlang リポジトリの登録 curl -1sLf https://dl.cloudsmith.io/public/rabbitmq/erlang/rpm/gpg.key | sudo rpm -- ...

6月24日 01:48 投稿

ZooKeeperによるサービス発見の実装(C++)

リポジトリ:git@github.com:ccx19930930/services_register_and_discovery.git 参考リンク:https://www.cnblogs.com/haippy/archive/2013/02/21/2920280.html down_service_mgr.h 1 #ifndef _DOWN_SERVICE_MANAGER_H_ 2 #define _DOWN_SERVICE_MANAGER_H_ 3 4 #include "base_class.h" 5 6 class CDownServiceManager : CUnCopyable 7 { 8 public: ...

6月14日 22:49 投稿

分散ログ収集基盤の構築:Elasticsearch + Kafka + ZooKeeper + rsyslog

多くのシステムで共通する課題として、開発者がサーバーに直接アクセスできないことや、ログが各サーバーに散在し検索が困難であること、さらに大量のログデータによりリアルタイムなクエリが困難であることが挙げられます。これらの問題を解決するために、集中型のログ収集・分析基盤を構築します。 前提条件とアーキテクチャ概要 本環境では、以下のソフトウェアスタッ ...

6月8日 17:42 投稿

ZooKeeper を用いたシンプルなサービス登録・検出機能(C++): 接続管理層の実装

ZooKeeper クライアントとの永続的な接続を管理し、自動再接続・監視機能を備えた単一ヒープ生成的なハンドラクラスを C++ で実装します。 コピー禁止基底クラス class CNonCopyable { protected: CNonCopyable() = default; virtual ~CNonCopyable() = default; CNonCopyable(const CNonCopyable&) = delete; CNonCopyable& operator=(const CNonC ...

6月3日 19:26 投稿

ZooKeeper、KafkaクラスタとFilebeat+Kafka+ELKアーキテクチャの実装ガイド

一、ZooKeeper 1.1 概要 ZooKeeperは、分散アプリケーションの管理フレームワークです。オープンソースの分散型サービスで、分散環境における一貫性の問題を解決するためのApacheプロジェクトです。 1.2 ZooKeeperの役割 主な役割として、分散アプリケーションクラスタにおける一貫性の問題解決があります。ファイルシステムとして、各種分散アプリケーションの登録とメ ...

5月31日 00:36 投稿