Apache Kafkaの基礎アーキテクチャとJavaによる実践ガイド
Kafkaの登場背景とメッセージングシステムの利点
Apache Kafkaは、元々LinkedInにおいてアクティビティストリームや運用データのパイプライン処理を目的として開発された分散メッセージングシステムです。PV（ページビュー）や検索クエリなどのユーザー行動データ、およびCPU使用率やIOなどのサーバーメトリクスを効率的に処理するために設計されました。
メッセージングシ ...
8月13日 22:03 投稿
ZooKeeperとKafkaを用いたメッセージキューイングシステムのクラスタ構築
メッセージキューイング（Message Queue）は、分散システムにおける中核的なコンポーネントです。主な利用シーンとしては、即座に結果を取得する必要はないが、同時接続数の制御が必要な状況が該当します。本稿では、分散型メッセージキューイングシステムであるApache Kafkaとを調整サービスとして使用するZooKeeperを組み合わせたクラスタ構築手順を解説します。
1. メ ...
8月10日 03:31 投稿
.NET Core で Apache Kafka を利用した信頼性のあるメッセージ処理実装
オフセット管理を活用した重複処理防止の実装
Apache Kafka を .NET Core で利用する際、コンシューマーがメッセージを受信した後、Kafka が停止/再起動した際に重複処理が発生する問題があります。この問題を解決するため、Redis を活用したオフセット管理を実装します。
問題の背景
コンシューマーがメッセージを受信後、StoreOffset() を呼び出してオフセットを確認しま ...
7月31日 01:00 投稿
Apache Kafka 3.1におけるメッセージフィルタリング：コンシューマー側での実装方法
Apache Kafka 3.1におけるメッセージフィルタリング：コンシューマー側での実装方法
Kafkaコンシューマーが大量の不要なメッセージを受信し、ネットワーク負荷や処理コストが増大する問題に直面したことはありませんか？プロデューサーコードを修正せずに、特定のデータを除外する方法を探していますか？本記事では、Apache Kafka 3.1のコンシューマーインターセプターを利 ...
7月15日 17:07 投稿
Windows環境でのApache Kafkaインストールガイド
Apache Kafkaは、リアルタイムデータパイプラインとストリームアプリケーションの構築に広く使用される分散型ストリーミングプラットフォームです。ここでは、Windowsシステム上でKafkaをインストールおよび設定する手順を紹介します。
システム要件
Windows 10/11 (64ビット)
最低4GBのメモリ
最低2GBの空きディスク容量
Java環境のインストール
KafkaにはJava 8以降 ...
6月26日 22:40 投稿
Ubuntu 18.04でApache Kafkaをインストールする方法
技術的概要
Apache Kafkaは、大量のリアルタイムデータを効率的に処理するための分散メッセージブローカーです。Kafkaクラスターはスケーラブルかつフォールトトレラントであり、他のメッセージブローカー（例: ActiveMQやRabbitMQ）よりも高いスループットを持ちます。このチュートリアルでは、Ubuntu 18.04にApache Kafka 2.1.1をインストールする手順を説明します。
...
5月28日 09:45 投稿