Apache Kafkaは、リアルタイムデータパイプラインとストリームアプリケーションの構築に広く使用される分散型ストリーミングプラットフォームです。ここでは、Windowsシステム上でKafkaをインストールおよび設定する手順を紹介します。
システム要件
- Windows 10/11 (64ビット)
- 最低4GBのメモリ
- 最低2GBの空きディスク容量
Java環境のインストール
KafkaにはJava 8以降が必要です。
- Oracle公式サイトからJDK 8以上をダウンロードします。
- Windowsバージョンを選択してダウンロードします。
Kafkaのダウンロードと解凍
- Kafka公式サイト https://kafka.apache.org/downloads へアクセスし、最新安定版のバイナリファイルを選びます。
- Scala 2.13バージョンを推奨します。
例：`kafka_2.13-3.5.1.tgz`
- ファイルを`C:\kafka`などの単純なパスに解凍します。
Kafkaの設定
ディレクトリ構造
- `bin/windows/` - Windows用バッチスクリプト
- `config/` - 設定ファイル
- `libs/` - 依存ライブラリ
- `logs/` - 実行後に生成されるログファイル
設定ファイルの編集
- `config/server.properties`を開き、以下を修正：
# データ保存ディレクトリ（Windows形式）
log.dirs=C:/kafka/kafka_2.13-3.5.1/kafka-data
# 監視アドレス
listeners=PLAINTEXT://localhost:9092
# ZooKeeper接続アドレス
zookeeper.connect=localhost:2181
Kafkaサービスの起動
ZooKeeperの起動
- コマンドプロンプトで以下のコマンドを実行：
cd C:\kafka\kafka_2.13-3.5.1
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
Kafkaサーバーの起動
- 新しいコマンドプロンプトウィンドウで以下のコマンドを実行：
cd C:\kafka\kafka_2.13-3.5.1
bin\windows\kafka-server-start.bat config\server.properties
機能テスト
トピック作成
- 次のコマンドでテストトピックを作成：
cd C:\kafka\kafka_2.13-3.5.1
bin\windows\kafka-topics.bat --create --topic sample-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
トピック一覧表示
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
プロデューサーとコンシューマーのテスト
- コンシューマーを起動：
bin\windows\kafka-console-consumer.bat --topic sample-topic --from-beginning --bootstrap-server localhost:9092
- 新しいウィンドウでプロデューサーを起動：
bin\windows\kafka-console-producer.bat --topic sample-topic --bootstrap-server localhost:9092
トラブルシューティング
ポートが既に使用されている場合
netstat -ano | findstr :9092
netstat -ano | findstr :2181