異端開発室

Filebeatとは：軽量なログ収集の要 Filebeatは、Elastic社が開発したBeatsファミリーに属する、非常に軽量なデータシッパーです。その主要な役割は、様々なデータソース（ログファイル、システムログ、コンテナログなど）からログデータを効率的に収集し、Elasticsearch、Logstash、Kafkaといった集中型ストレージや分析システムへ安全に転送することにあります。 ...

Logstash は、ELK スタックにおいてログデータの収集、変換、転送を担当する重要なコンポーネントです。本稿では、Logstash のインストール手順から、Elasticsearch への出力設定、そして軽量な収集 agent である Filebeat との連携構成について解説します。 1. Logstash のインストール 公式配布サイトから適切なバージョンのアーカイブファイルを入手します。 https://w ...

ELKスタックとFilebeatの概要 ELKスタックは、Elasticsearch、Logstash、Kibanaの3つオープンソースソフトウェアを組み合わせたログ管理基盤です。近年では、軽量なデータシッパーであるBeatsファミリー（Filebeat、Metricbeatなど）が加わり、ログ収集の効率性がさらに向上しています。 Elasticsearch: 分散型のRESTful検索・分析エンジンであり、データの保存、検索、 ...

Filebeat によるアプリケーションログの収集設定 ELK（Elasticsearch、Logstash、Kibana）スタックでアプリケーションログを可視化するには、ログ収集エージェントとして Filebeat を利用するのが一般的です。以下は、Spring Boot アプリなどから出力されるログファイルを収集し、Logstash 経由で Elasticsearch に送信するまでの手順です。 1. Filebeat のインストール ...

背景 フロントエンドのWebサーバーとしてNginxを採用し、filebeat + logstash + elasticsearch + grafanaを使用したデータ収集と可視化を実装します。これにより、クライアントIPの地域統計やサーバー応答時間の監視などが可能になります。 システム全体のアーキテクチャ Nginxログ出力 → Filebeat → Logstash → Elasticsearch → Grafana（表示） 準備条件 Nginxログ ...

2021年9月5日21:41:08 ファイアウォールの無効化 systemctl stop firewalld systemctl stop iptables systemctl disable firewalld.service systemctl disable iptables.service sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config setenforce 0 JAVAのインストール 公式サイト: http://openjdk.java.net/install/ 参考: https://www.cnblogs.co ...

JDKの事前準備 LogstashはJavaランタイムに依存するため、まずJDK 8をシステムに展開します。 # JDKアーカイブの展開とシンボリックリンク作成 sudo tar xzf jdk-8u202-linux-x64.tar.gz -C /usr/local/ sudo ln -sf /usr/local/jdk1.8.0_202 /usr/local/java # 環境変数の永続化（/etc/profile.d/java.sh） echo 'export JAVA_HOME=/usr/local/java' | sudo tee /etc/pr ...