異端開発室

クラスタ構成の基本構造 Kafkaでは、Topicという論理的な単位が複数のPartitionに分割され、各Brokerに分散配置されます。各Partitionにはリーダーとフォロワーが存在し、リーダーがデータの読み書きを担当します。フォロワーはデータの複製を保持することで可用性を確保します。 メッセージの書き込みはリーダーに集中し、その後フォロワーに複製されます。この構造によ ...

1. プロジェクト構成（Maven マルチモジュール） 本構成では、Maven のマルチモジュールプロジェクトを採用し、API、Provider、Consumer の 3 つのモジュールに分割します。これにより、依存関係の明確化とビルドの効率化を図ります。 2. 親 POM 設定 ルートプロジェクトの POM ファイルでは、共通の依存ライブラリとプロパティを定義します。Dubbo、Zookeeper、Spring Fr ...

3.1 Kafkaのプロデューサー処理解析 3.1.1 書き込み方法 プロデューサーは、メッセージをブローカーにプッシュ（push）モードで送信します。各メッセージはパーティションに追加され、ディスクへの順次書き込みが行われます。これはランダムなメモリ書き込みよりも効率的であり、Kafkaのスループットを確保します。 3.1.2 パーティション（Partition） メッセ ...

分散アプリケーションのコーディネーションを担うZooKeeperは、高可用性を確保するために通常は複数台のサーバーでクラスタ（アンサンブル）を構成します。開発やテストの目的で、物理的なマシンを複数用意することなくローカル環境でクラスタの動作を確認したい場合、Docker Composeを利用した「擬似クラスタ」の構築が非常に効率的です。 1. Docker Compose設定ファ ...

Redisサーバー制御スクリプト #!/bin/bash REDIS_PORT=6379 LOCAL_IP=$(hostname -I | awk '{print $1}') start_redis() { if ! pgrep -f "redis-server" &> /dev/null; then redis-server /opt/redis/config/redis.conf >/dev/null 2>&1 if [ $? -eq 0 ]; then echo "Redis起動成功: $(pgrep -f "redis-server")" else echo "Redis起動失敗 - ...

ZooKeeperクラスタのアーキテクチャと構築 ノードの役割分担 ZooKeeperアンサンブルを構成するサーバーノードは、主に以下の3つのロールに分類されます。 Leader（リーダー）：クラスタ内で唯一存在し、全ての書き込みリクエスト（トランザクション）を処理および調整するマスターノードです。 Follower（フォロワー）：読み取りリクエストを処理します。また、L ...

Kafkaの登場背景とメッセージングシステムの利点 Apache Kafkaは、元々LinkedInにおいてアクティビティストリームや運用データのパイプライン処理を目的として開発された分散メッセージングシステムです。PV（ページビュー）や検索クエリなどのユーザー行動データ、およびCPU使用率やIOなどのサーバーメトリクスを効率的に処理するために設計されました。 メッセージングシ ...

メッセージキューイング（Message Queue）は、分散システムにおける中核的なコンポーネントです。主な利用シーンとしては、即座に結果を取得する必要はないが、同時接続数の制御が必要な状況が該当します。本稿では、分散型メッセージキューイングシステムであるApache Kafkaとを調整サービスとして使用するZooKeeperを組み合わせたクラスタ構築手順を解説します。 1. メ ...

メッセージキューの概念 メッセージキューとは何か メッセージ（Message）とはアプリケーション間で送信されるデータのこと メッセージキュー（Message Queue）はアプリケーション間の通信方式を解決するソリューションで、メッセージの信頼性のある伝達を保証します。 メッセージキューが必要な理由 疎結合 両側の処理プロセスを独立して拡張または修正できるため、同じ ...

サーバー管理コマンド ZooKeeperサーバー制御スクリプトは主要な運用操作を提供します。実行パスを指定せずに起動すると利用可能なオプションが表示されます： ZooKeeper JMX機能はデフォルトで有効です 設定ファイル: /opt/zk/conf/zoo.cfg 使用法: ./zkServer.sh [--config <設定ディレクトリ>] {起動|フォアグラウンド起動|停止|再起動|状態確認|コマンド表示} 実 ...