Kafkaブローカーのログファイルの構造と動作原理

1. パーティションディレクトリ内のファイル構造 Kafkaのメッセージストレージは、パーティション(Partition)を中心に構築されています。各パーティションは物理的なディレクトリに対応し、そのディレクトリ内にはコアログファイル、インデックスファイル、トランザクション関連ファイル、メタデータファイルの4種類のファイルが含まれます。これらのファイルが連携する ...

6月26日 22:30 投稿

Apache Kafkaにおけるコンシューマの実装と管理

コンシューマ基礎知識 コンシューマとコンシューマグループ 各コンシューマは特定のコンシューマグループに所属し、異なるグループ間は互いに影響しない パーティションのメッセージは1つのグループ内で単一コンシューマによって消費されるが、再バランスにより新しいコンシューマに再割当される可能性がある トピックの異なるパーティションはクライアントパラメ ...

6月14日 16:07 投稿