DolphinScheduler 2.x 単一ノード疑似クラスタ構築手順
動作要件
OS バージョン
ディストリビューション推奨バージョン
Red Hat Enterprise Linux7.x 以降
CentOS7.x 以降
Oracle Linux7.x 以降
Ubuntu LTS16.04 以降
ハードウェア仕様
CPUメモリディスクネットワークノード数
4 コア以上8 GB 以上SAS1 Gbps NIC1 台以上
デプロイ方式の選択
DolphinScheduler は以下の 3 パターンに対応しています。
Standalone:す ...
7月20日 20:19 投稿
ZooKeeper 3.8.4 の導入と C API のビルド手順
ダウンロード
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4.tar.gz
tar -zxvf apache-zookeeper-3.8.4.tar.gz
cd apache-zookeeper-3.8.4
直接使用
cd conf
cp zoo_sample.cfg zoo.cfg # サンプル設定ファイルをコピーして使用
cd ../bin/
./zkServer.sh start # サーバーを起動
./zkServer.sh status # サーバーの状態を確認
C API ...
7月20日 01:48 投稿
ClickHouseにおけるクラスタ環境の高可用性構成
環境概要:
4台のCentOS7マシンにClickHouseがインストールされている状況を想定する
ホスト名
IPアドレス
ソフトウェア
ポート番号
シャード
レプリカ
centf8118.sharding1.db
192.168.81.18
clickhouse-server、clickhouse-client
9000
01
01
centf8119.sharding2.db
192.168.81.19
clickhouse-server、clickhouse-client
9000
01
02
centf8120.sharding3.db
...
7月11日 16:05 投稿
ZooKeeper C言語クライアントのビルドと基本接続
1. ZooKeeper C言語APIのビルド手順
ZooKeeper 3.4.14バージョンを前提として、C言語クライアントライブラリをビルドします。
wget "http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz"
tar -xzf zookeeper-3.4.14.tar.gz
cd zookeeper-3.4.14/zookeeper-client/zookeeper-client-c
./configure
make
sudo make install
インス ...
7月4日 18:02 投稿
Linux環境でのZooKeeperのセットアップと基本操作ガイド
Java実行環境の準備
まず、システムを更新してOpenJDKをインストールします。
sudo apt update
sudo apt install openjdk-11-jre-headless
ZooKeeperの導入と起動
公式ミラーからアーカイブを取得し、展開します。
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar xzf zookeeper-3.4.14.tar.gz
設定ファイルを作成してサ ...
6月29日 20:42 投稿
CentOS 8 環境における RabbitMQ、Kafka および Supervisor の構築ガイド
ベース環境とリポジトリの準備
CentOS 8 系(および RHEL 互換ディストリビューション)で RabbitMQ を動作させるには、Erlang 実行環境の整備が必須となります。公式が提供するパッケージリポジトリを登録し、依存パッケージの自動解決を有効化します。
# Erlang リポジトリの登録
curl -1sLf https://dl.cloudsmith.io/public/rabbitmq/erlang/rpm/gpg.key | sudo rpm -- ...
6月24日 01:48 投稿
ZooKeeperによるサービス発見の実装(C++)
リポジトリ:git@github.com:ccx19930930/services_register_and_discovery.git
参考リンク:https://www.cnblogs.com/haippy/archive/2013/02/21/2920280.html
down_service_mgr.h
1 #ifndef _DOWN_SERVICE_MANAGER_H_
2 #define _DOWN_SERVICE_MANAGER_H_
3
4 #include "base_class.h"
5
6 class CDownServiceManager : CUnCopyable
7 {
8 public:
...
6月14日 22:49 投稿
分散ログ収集基盤の構築:Elasticsearch + Kafka + ZooKeeper + rsyslog
多くのシステムで共通する課題として、開発者がサーバーに直接アクセスできないことや、ログが各サーバーに散在し検索が困難であること、さらに大量のログデータによりリアルタイムなクエリが困難であることが挙げられます。これらの問題を解決するために、集中型のログ収集・分析基盤を構築します。
前提条件とアーキテクチャ概要
本環境では、以下のソフトウェアスタッ ...
6月8日 17:42 投稿
ZooKeeper を用いたシンプルなサービス登録・検出機能(C++): 接続管理層の実装
ZooKeeper クライアントとの永続的な接続を管理し、自動再接続・監視機能を備えた単一ヒープ生成的なハンドラクラスを C++ で実装します。
コピー禁止基底クラス
class CNonCopyable {
protected:
CNonCopyable() = default;
virtual ~CNonCopyable() = default;
CNonCopyable(const CNonCopyable&) = delete;
CNonCopyable& operator=(const CNonC ...
6月3日 19:26 投稿
ZooKeeper、KafkaクラスタとFilebeat+Kafka+ELKアーキテクチャの実装ガイド
一、ZooKeeper
1.1 概要
ZooKeeperは、分散アプリケーションの管理フレームワークです。オープンソースの分散型サービスで、分散環境における一貫性の問題を解決するためのApacheプロジェクトです。
1.2 ZooKeeperの役割
主な役割として、分散アプリケーションクラスタにおける一貫性の問題解決があります。ファイルシステムとして、各種分散アプリケーションの登録とメ ...
5月31日 00:36 投稿