Apache Kafkaの基礎アーキテクチャとJavaによる実践ガイド
Kafkaの登場背景とメッセージングシステムの利点
Apache Kafkaは、元々LinkedInにおいてアクティビティストリームや運用データのパイプライン処理を目的として開発された分散メッセージングシステムです。PV（ページビュー）や検索クエリなどのユーザー行動データ、およびCPU使用率やIOなどのサーバーメトリクスを効率的に処理するために設計されました。
メッセージングシ ...
8月13日 22:03 投稿
ZooKeeperとKafkaを用いたメッセージキューイングシステムのクラスタ構築
メッセージキューイング（Message Queue）は、分散システムにおける中核的なコンポーネントです。主な利用シーンとしては、即座に結果を取得する必要はないが、同時接続数の制御が必要な状況が該当します。本稿では、分散型メッセージキューイングシステムであるApache Kafkaとを調整サービスとして使用するZooKeeperを組み合わせたクラスタ構築手順を解説します。
1. メ ...
8月10日 03:31 投稿
ZooKeeperとKafkaを用いたメッセージキュークラスタのデプロイメント
メッセージキューの概念
メッセージキューとは何か
メッセージ（Message）とはアプリケーション間で送信されるデータのこと
メッセージキュー（Message Queue）はアプリケーション間の通信方式を解決するソリューションで、メッセージの信頼性のある伝達を保証します。
メッセージキューが必要な理由
疎結合
両側の処理プロセスを独立して拡張または修正できるため、同じ ...
8月4日 03:49 投稿
ZooKeeper運用管理のための主要コマンド集
サーバー管理コマンド
ZooKeeperサーバー制御スクリプトは主要な運用操作を提供します。実行パスを指定せずに起動すると利用可能なオプションが表示されます：
ZooKeeper JMX機能はデフォルトで有効です
設定ファイル: /opt/zk/conf/zoo.cfg
使用法: ./zkServer.sh [--config <設定ディレクトリ>] {起動|フォアグラウンド起動|停止|再起動|状態確認|コマンド表示}
実 ...
7月26日 19:41 投稿
DolphinScheduler 2.x 単一ノード疑似クラスタ構築手順
動作要件
OS バージョン
ディストリビューション推奨バージョン
Red Hat Enterprise Linux7.x 以降
CentOS7.x 以降
Oracle Linux7.x 以降
Ubuntu LTS16.04 以降
ハードウェア仕様
CPUメモリディスクネットワークノード数
4 コア以上8 GB 以上SAS1 Gbps NIC1 台以上
デプロイ方式の選択
DolphinScheduler は以下の 3 パターンに対応しています。
Standalone：す ...
7月20日 20:19 投稿
ZooKeeper 3.8.4 の導入と C API のビルド手順
ダウンロード
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4.tar.gz
tar -zxvf apache-zookeeper-3.8.4.tar.gz
cd apache-zookeeper-3.8.4
直接使用
cd conf
cp zoo_sample.cfg zoo.cfg # サンプル設定ファイルをコピーして使用
cd ../bin/
./zkServer.sh start # サーバーを起動
./zkServer.sh status # サーバーの状態を確認
C API ...
7月20日 01:48 投稿
ClickHouseにおけるクラスタ環境の高可用性構成
環境概要：
4台のCentOS7マシンにClickHouseがインストールされている状況を想定する
ホスト名
IPアドレス
ソフトウェア
ポート番号
シャード
レプリカ
centf8118.sharding1.db
192.168.81.18
clickhouse-server、clickhouse-client
9000
01
01
centf8119.sharding2.db
192.168.81.19
clickhouse-server、clickhouse-client
9000
01
02
centf8120.sharding3.db
...
7月11日 16:05 投稿
ZooKeeper C言語クライアントのビルドと基本接続
1. ZooKeeper C言語APIのビルド手順
ZooKeeper 3.4.14バージョンを前提として、C言語クライアントライブラリをビルドします。
wget "http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz"
tar -xzf zookeeper-3.4.14.tar.gz
cd zookeeper-3.4.14/zookeeper-client/zookeeper-client-c
./configure
make
sudo make install
インス ...
7月4日 18:02 投稿
Linux環境でのZooKeeperのセットアップと基本操作ガイド
Java実行環境の準備
まず、システムを更新してOpenJDKをインストールします。
sudo apt update
sudo apt install openjdk-11-jre-headless
ZooKeeperの導入と起動
公式ミラーからアーカイブを取得し、展開します。
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar xzf zookeeper-3.4.14.tar.gz
設定ファイルを作成してサ ...
6月29日 20:42 投稿
CentOS 8 環境における RabbitMQ、Kafka および Supervisor の構築ガイド
ベース環境とリポジトリの準備
CentOS 8 系（および RHEL 互換ディストリビューション）で RabbitMQ を動作させるには、Erlang 実行環境の整備が必須となります。公式が提供するパッケージリポジトリを登録し、依存パッケージの自動解決を有効化します。
# Erlang リポジトリの登録
curl -1sLf https://dl.cloudsmith.io/public/rabbitmq/erlang/rpm/gpg.key | sudo rpm -- ...
6月24日 01:48 投稿