異端開発室

ELKスタックとFilebeatの概要 ELKスタックは、Elasticsearch、Logstash、Kibanaの3つオープンソースソフトウェアを組み合わせたログ管理基盤です。近年では、軽量なデータシッパーであるBeatsファミリー（Filebeat、Metricbeatなど）が加わり、ログ収集の効率性がさらに向上しています。 Elasticsearch: 分散型のRESTful検索・分析エンジンであり、データの保存、検索、 ...

Filebeat によるアプリケーションログの収集設定 ELK（Elasticsearch、Logstash、Kibana）スタックでアプリケーションログを可視化するには、ログ収集エージェントとして Filebeat を利用するのが一般的です。以下は、Spring Boot アプリなどから出力されるログファイルを収集し、Logstash 経由で Elasticsearch に送信するまでの手順です。 1. Filebeat のインストール ...

ライセンス管理 xpack 有効期限の確認方法： curl -XGET http://localhost:9200/_xpack/license?pretty ライセンス登録：https://register.elastic.co/ ライセンス更新コマンド： curl -XPUT -u elastic 'http://localhost:9200/_xpack/license?acknowledge=true' -H "Content-Type: application/json" -d @license.json ローカルElasticsearch環境 ダウンロードURL：htt ...

2021年9月5日21:41:08 ファイアウォールの無効化 systemctl stop firewalld systemctl stop iptables systemctl disable firewalld.service systemctl disable iptables.service sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config setenforce 0 JAVAのインストール 公式サイト: http://openjdk.java.net/install/ 参考: https://www.cnblogs.co ...

Elasticsearchの概要 Elasticsearchとは Elasticsearch（以下ES）は、オープンソースのフルテキスト検索エンジンサーバーで、ほぼリアルタイムにデータの保存・検索が可能です。数百台のサーバーにスケールしてPB単位のデータを処理できる拡張性が特徴です。Javaで開発され、Luceneをコアとしてインデックス作成と検索機能を実装していますが、Restful APIやJava APIを通 ...

ElastAlert を Kibana に統合するためのプラグインである elastalert-kibana-plugin のインストールおよび基本的な構成方法について説明します。 1. リポジトリ構造概要 elastalert-kibana-plugin/ ├── public/ │ └── server/ │ └── routes/ │ └── index.js ├── .eslintrc ├── .gitignore ├── .nvmrc ├── CONTRIBUTING.md ├── LICENSE.md ├── README.m ...

多くのシステムで共通する課題として、開発者がサーバーに直接アクセスできないことや、ログが各サーバーに散在し検索が困難であること、さらに大量のログデータによりリアルタイムなクエリが困難であることが挙げられます。これらの問題を解決するために、集中型のログ収集・分析基盤を構築します。 前提条件とアーキテクチャ概要 本環境では、以下のソフトウェアスタッ ...

前提条件 CentOS 7、JDK 8の環境が必要です。 ELKスタックとは？ ELKスタックは、Elasticsearch、Logstash、Kibanaの3つのオープンソースツールを組み合わせたログ解析プラットフォームです。 Elasticsearch: 分散型検索エンジンで、ログデータの格納と高速検索を提供します。 Logstash: ログ収集・変換ツールで、さまざまなソースからデータを取得し、処理してElastics ...

環境準備と基本設定 Elasticsearchのアーカイブを解凍後、bin/elasticsearchを実行することで9200ポートでサービスが起動します。操作インターフェースとしてKibanaを併設する場合、バージョンをElasticsearchと一致させる必要があります。kibana.ymlではserver.port、server.host、elasticsearch.hostsの3項目を修正し、専用ユーザー権限で起動プロセスを実行することで権 ...

Elasticsearch の基本概念 Elasticsearch を効率的に運用するために、まず以下のコア概念を理解する必要があります。 ノード (Node): Elasticsearch が動作している単一のサーバーインスタンスです。 クラスター (Cluster): 同じ cluster.name 設定を共有し、データを共同で管理するノードの集合体です。 インデックス (Index): ドキュメントを保存する論理 ...