シェルスクリプトでNameNodeとDataNodeを一括起動・停止する
この記事では、シェルスクリプトを使用してHadoopのNameNodeとDataNodeを一括で起動および停止する方法を紹介します。シンプル版と、より高度な機能を備えた拡張版の2種類を提供します。拡張版は、より多くの状態チェックと情報表示を追加しています。スクリプトを再利用する場合は、以下の点に注意してください。
1. HADOOP_HOME変数を自身のHadoopインストールパスに変 ...
8月8日 20:12 投稿
INFINI Easysearchの書き込み速度制御機能の実践的活用ガイド
検索エンジンシステムにデータをインポートした経験のある開発者であれば、実行中のESクラスタにデータを一括インポートすると、クエリの応答時間に影響を与える可能性があることをご存じでしょう。特に大量のデータをインポートする場合、この影響は避けられません。通常、このような操作は業務のオフピーク時間帯に限定されますが、即時実行が必要な場合は、業務クエリへ ...
6月28日 02:26 投稿
Elasticsearchクラスタ保護のためのINFINI Gatewayを用いた不正クエリブロック手法
本記事ではINFINI Gatewayを使用してElasticsearchクラスタに対して不正なクエリをブロックする手法について解説します。この手法はOpensearchやEasysearchにも適用可能です。
問題の背景
ElasticsearchのOOM（メモリ不足）問題の多くは、以下の2種類のクエリパターンに起因しています：
クラスタの処理能力を超えるクエリスループット
メモリを過剰に消費する不正 ...
6月20日 21:27 投稿
Elasticsearch 9のINFINI Consoleによる管理：監視、データ操作、クエリ実行
Elasticsearch v9.0のリリースに伴い、INFINI Console v1.29.2を使用した最新バージョン対応を検証します。マルチクラスタ対応の軽量管理プラットフォームとして、指標監視、データ管理、検索クエリ実行の各機能が正常に動作することを確認しました。
環境構築
Dockerを使用してElasticsearch 9.0を起動します。
docker run --name es9-container -p 9201:9200 -it -m 1GB ...
5月25日 01:38 投稿
Kafkaクラスタの自動スケーリングとリソース最適化の実装ガイド
Kafkaクラスタの自動スケーリングとリソース最適化の実装ガイド
Kafkaは高スループットな分散メッセージングシステムとして、ログ収集やリアルタイムデータ処理などに広く利用されています。本記事では、Docker環境を用いたKafkaクラスタの自動拡縮技術と、リソース配分の最適化方法について解説します。以下の内容をカバーします：① 自動スケーリングの仕組みと実装フロー ...
5月20日 17:36 投稿