Flumeを使用したMySQLデータの履歴同期処理
1. Flumeディレクトリ構成
1.1 インストールパス情報
[admin@test01 flume-mysql-sync]$ pwd
/opt/flume-mysql-sync
1.2 必要なJARファイルをlibディレクトリへ配置
sql-source-connector-2.1.jar
mysql-driver-8.0.28.jar
2. パッケージングと展開操作
アーカイブ作成
tar czvf flume-package.tar.gz flume-mysql-sync/
3. Kafkaトピックの作成と確認
# ト ...
6月28日 19:48 投稿
Kafkaブローカーのログファイルの構造と動作原理
1. パーティションディレクトリ内のファイル構造
Kafkaのメッセージストレージは、パーティション（Partition）を中心に構築されています。各パーティションは物理的なディレクトリに対応し、そのディレクトリ内にはコアログファイル、インデックスファイル、トランザクション関連ファイル、メタデータファイルの4種類のファイルが含まれます。これらのファイルが連携する ...
6月26日 22:30 投稿
CentOS 8 環境における RabbitMQ、Kafka および Supervisor の構築ガイド
ベース環境とリポジトリの準備
CentOS 8 系（および RHEL 互換ディストリビューション）で RabbitMQ を動作させるには、Erlang 実行環境の整備が必須となります。公式が提供するパッケージリポジトリを登録し、依存パッケージの自動解決を有効化します。
# Erlang リポジトリの登録
curl -1sLf https://dl.cloudsmith.io/public/rabbitmq/erlang/rpm/gpg.key | sudo rpm -- ...
6月24日 01:48 投稿
Flink と Kafka のオフセット管理方法
Flink と Kafka を連携する際、オフセット管理は重要な課題です。
自動管理モードでは、以下のような問題が発生します:
プロセス途中での停止によりデータが失われることがあります
再起動時、同じデータが再び処理される可能性があります
これらの問題を解決するためには、Kafka のオフセットを手動で管理し、Flinkのチェックポイントとオフセットを同期させる必要があ ...
6月21日 22:25 投稿
Kafkaの基本的な理解と利用方法
Apache Kafkaは、大規模なメッセージングシステムとして設計されたオープンソースのソフトウェアであり、リアルタイムデータ処理や分散システムでのイベントストリーミングに最適です。本記事ではKafkaの基礎概念、インストール手順、およびJavaを使用した生産者・消費者の実装方法について説明します。
Kafkaの概要
Kafkaはメッセージの発行と購読を可能にするプラットフ ...
6月17日 16:03 投稿
Apache Kafkaにおけるコンシューマの実装と管理
コンシューマ基礎知識
コンシューマとコンシューマグループ
各コンシューマは特定のコンシューマグループに所属し、異なるグループ間は互いに影響しない
パーティションのメッセージは1つのグループ内で単一コンシューマによって消費されるが、再バランスにより新しいコンシューマに再割当される可能性がある
トピックの異なるパーティションはクライアントパラメ ...
6月14日 16:07 投稿
Kafka Producerの送信メカニズム完全解説：インターセプタからネットワーク送信までの全フロー
はじめに
分散システム開発に携わる開発者であれば、Producerがメッセージを送信する際に時速い時は遅い、時折メッセージが紛失するといった問題に遭遇したことがあるかもしれません。その根本原因は、Producerの全送信チェーンのメカニズムを理解していないことにあります。メッセージの生成から最終的な配送まで、インターセプタ、シリアライザ、パーティショナー、 ...
6月8日 19:06 投稿
分散ログ収集基盤の構築：Elasticsearch + Kafka + ZooKeeper + rsyslog
多くのシステムで共通する課題として、開発者がサーバーに直接アクセスできないことや、ログが各サーバーに散在し検索が困難であること、さらに大量のログデータによりリアルタイムなクエリが困難であることが挙げられます。これらの問題を解決するために、集中型のログ収集・分析基盤を構築します。
前提条件とアーキテクチャ概要
本環境では、以下のソフトウェアスタッ ...
6月8日 17:42 投稿
Kafkaコンシューマーグループのパーティション割り当てアルゴリズム解説
Kafkaにおけるパーティション配分の基本概念
Kafkaのコンシューマーグループ内で複数のインスタンスが稼働している場合、対象トピックのパーティションをどのコンシューマーが担当するかを決定する割り当てプロセスが発生します。この処理はPartitionAssignorインタフェースによって定義されており、デフォルトではスティッキーベースのロジックが採用されています。ブロー ...
6月7日 20:58 投稿
ZooKeeper、KafkaクラスタとFilebeat+Kafka+ELKアーキテクチャの実装ガイド
一、ZooKeeper
1.1 概要
ZooKeeperは、分散アプリケーションの管理フレームワークです。オープンソースの分散型サービスで、分散環境における一貫性の問題を解決するためのApacheプロジェクトです。
1.2 ZooKeeperの役割
主な役割として、分散アプリケーションクラスタにおける一貫性の問題解決があります。ファイルシステムとして、各種分散アプリケーションの登録とメ ...
5月31日 00:36 投稿