Filebeatを活用したログ管理基盤の構築とデータフロー
Filebeatとは：軽量なログ収集の要
Filebeatは、Elastic社が開発したBeatsファミリーに属する、非常に軽量なデータシッパーです。その主要な役割は、様々なデータソース（ログファイル、システムログ、コンテナログなど）からログデータを効率的に収集し、Elasticsearch、Logstash、Kafkaといった集中型ストレージや分析システムへ安全に転送することにあります。
...
10月27日 06:55 投稿
分散型ログ収集基盤：Logstash の導入と Filebeat 連携構築
Logstash は、ELK スタックにおいてログデータの収集、変換、転送を担当する重要なコンポーネントです。本稿では、Logstash のインストール手順から、Elasticsearch への出力設定、そして軽量な収集 agent である Filebeat との連携構成について解説します。
1. Logstash のインストール
公式配布サイトから適切なバージョンのアーカイブファイルを入手します。
https://w ...
9月20日 05:33 投稿
Logstashの動的テンプレートマッピングでNginxのJSON形式ログを収集する
LogstashからESへ送信されたデータは、自動的に「5シャード・5レプリカ」のインデックスとして作成され、すべてのフィールドがtext型にマッピングされます。この状態では、基本的にデータ分析を行うことはできません。
そこで、Logstashのデータをあらかじめ定義した形式でESに格納する必要があります。このときに利用するのがESのテンプレート機能です。ESではカスタムテ ...
9月8日 14:28 投稿
Logstashを活用したMySQLからEasysearchへのデータ同期構築方法
ELKスタックの一環であるLogstashを利用すれば、リレーショナルデータベースから検索エンジンへ効率的にデータ移行が可能です。本稿では、MySQLからEasysearchへの増分同期パイプライン設定について解説します。
必須要件
主キーの存在: テーブルには一意な識別子（例: pk_id）が必須です。これにより、ソースDBレコードとEasysearchのドキュメントIDを厳密に一致させ、 ...
8月15日 21:20 投稿
ELKスタックにおけるFilebeatの導入と実践的な設定手法
ELKスタックとFilebeatの概要
ELKスタックは、Elasticsearch、Logstash、Kibanaの3つオープンソースソフトウェアを組み合わせたログ管理基盤です。近年では、軽量なデータシッパーであるBeatsファミリー（Filebeat、Metricbeatなど）が加わり、ログ収集の効率性がさらに向上しています。
Elasticsearch: 分散型のRESTful検索・分析エンジンであり、データの保存、検索、 ...
7月26日 16:54 投稿
Filebeat を使用したログ収集と ELK スタック連携の構成方法
Filebeat によるアプリケーションログの収集設定
ELK（Elasticsearch、Logstash、Kibana）スタックでアプリケーションログを可視化するには、ログ収集エージェントとして Filebeat を利用するのが一般的です。以下は、Spring Boot アプリなどから出力されるログファイルを収集し、Logstash 経由で Elasticsearch に送信するまでの手順です。
1. Filebeat のインストール
...
7月26日 00:28 投稿
ELKスタックを活用したNginxログ収集とデータ分析
背景
フロントエンドのWebサーバーとしてNginxを採用し、filebeat + logstash + elasticsearch + grafanaを使用したデータ収集と可視化を実装します。これにより、クライアントIPの地域統計やサーバー応答時間の監視などが可能になります。
システム全体のアーキテクチャ
Nginxログ出力 → Filebeat → Logstash → Elasticsearch → Grafana（表示）
準備条件
Nginxログ ...
7月22日 18:46 投稿
Elasticsearch開発環境の構築と設定
ライセンス管理 xpack
有効期限の確認方法：
curl -XGET http://localhost:9200/_xpack/license?pretty
ライセンス登録：https://register.elastic.co/
ライセンス更新コマンド：
curl -XPUT -u elastic 'http://localhost:9200/_xpack/license?acknowledge=true' -H "Content-Type: application/json" -d @license.json
ローカルElasticsearch環境
ダウンロードURL：htt ...
7月10日 01:34 投稿
LogstashとNginxログ統合の実践設定ガイド
JDKの事前準備
LogstashはJavaランタイムに依存するため、まずJDK 8をシステムに展開します。
# JDKアーカイブの展開とシンボリックリンク作成
sudo tar xzf jdk-8u202-linux-x64.tar.gz -C /usr/local/
sudo ln -sf /usr/local/jdk1.8.0_202 /usr/local/java
# 環境変数の永続化（/etc/profile.d/java.sh）
echo 'export JAVA_HOME=/usr/local/java' | sudo tee /etc/pr ...
6月1日 23:22 投稿
Spring BootとELKスタックの構築および設定手順
前提条件
CentOS 7、JDK 8の環境が必要です。
ELKスタックとは？
ELKスタックは、Elasticsearch、Logstash、Kibanaの3つのオープンソースツールを組み合わせたログ解析プラットフォームです。
Elasticsearch: 分散型検索エンジンで、ログデータの格納と高速検索を提供します。
Logstash: ログ収集・変換ツールで、さまざまなソースからデータを取得し、処理してElastics ...
5月30日 10:41 投稿