Logstashを活用したMySQLからEasysearchへのデータ同期構築方法

ELKスタックの一環であるLogstashを利用すれば、リレーショナルデータベースから検索エンジンへ効率的にデータ移行が可能です。本稿では、MySQLからEasysearchへの増分同期パイプライン設定について解説します。 必須要件 主キーの存在: テーブルには一意な識別子(例: pk_id)が必須です。これにより、ソースDBレコードとEasysearchのドキュメントIDを厳密に一致させ、 ...

8月15日 21:20 投稿

Canal を使用して MySQL データを Easysearch にリアルタイムで同期する方法

Canal は、阿里巴巴(アリババ)グループが提供するオープンソース製品で、データベースの増分ログを解析することで、増分データのサブスクリプションと消費機能を提供します。Canal を MySQL のスレーブとして機能させ、MySQL の増分データ binlog をリアルタイムで受信し、その後 RESTful API を介して Easysearch にデータを書き込みます。 前提条件 Easysearch クラ ...

8月14日 08:41 投稿

Easysearch クラスタのディスク容量逼迫時の対処法

Easysearch はディスクを完全に使い切るのを防ぐため、「ディスクウォーターマーク(水位線)」機能を用いてストレージ使用量を制御しています。以前の記事で、各水位線の役割や INFINI Console を使った事前アラート設定について紹介しました。本稿では、実際に容量が逼迫した場合の事前対応策を中心に解説します。 1. リソースの追加 リソースに余裕がある場合は、クラ ...

7月29日 17:41 投稿

Scrapyを活用したウェブコンテンツ抽出とEasysearchへのリアルタイムインデックス化

プロジェクト初期化と環境準備 ScrapyはPython向けの非同期基盤に基づく高機能スクレイピングフレームワークです。対象ドメインのDOM構造を効率的に走査し、構造化データを取得するための標準的な雛形生成は以下のCLIコマンドで完了します。 pip install scrapy scrapy startproject article_indexer cd article_indexer/spiders scrapy genspider content_fetcher docs.sa ...

7月26日 16:36 投稿

EasysearchのSearchable Snapshots機能:実装と運用ガイド

Searchable Snapshots機能の概要 Searchable Snapshots(検索可能スナップショット)機能は、バックアップデータに対する従来のクエリアクセス方法を変革します。従来の方法では、対象のスナップショットを特定し、適切な環境へリストアを行った後にクエリを実行する必要があり、処理フローが長く時間も消費していました。本機能はこのプロセスを大幅に効率化します。 ノ ...

7月1日 19:14 投稿

Coco AI 実践(1):Coco Server を Linux に導入

Coco AI とは Coco AI は、アプリケーションやファイル、Google Drive、Notion、Yuque、Hugo など複数のデータソースに接続可能な、オープンソースでクロスプラットフォームの統合検索および生産性向上ツールです。さまざまな大規模モデルとの連携により、個人向けのスマートな知識管理を実現し、プライベート環境への導入もサポートしています。 Docker を利用した導入手 ...

7月1日 18:35 投稿

Spring Boot アプリケーションにおけるEasysearchクライアント統合の実装

概要 多くの開発者は、既存のElasticsearchクライアントをEasysearchに移行する必要性に直面しています。本稿では、Spring BootアプリケーションでHigh-Level RESTクライアントを使用してEasysearchに接続する方法について、設定から基本操作まで詳しく解説します。 サーバー側の設定 最初に、Easysearchノードの設定ファイルを修正する必要があります。easysearch.ymlフ ...

6月25日 22:24 投稿

AI エージェントに長期記憶を実装:Mem0 と Easysearch の統合ガイド

AI エージェントと対話中に、以前説明したバグの根本原因やプロジェクト固有のルールを毎回繰り返し説明しなければならない経験はないだろうか。これは、現在の多くのエージェントがコンテキストウィンドウ内でのみ「記憶」を持ち、セッション終了と共にその情報を失うためだ。 本稿では、Mem0 と Easysearch を組み合わせて、ローカル環境で動作するセッション横断型の長 ...

6月7日 21:14 投稿

INFINI Easysearchのパフォーマンステスト手法

INFINI Easysearch INFINI Easysearchは分散型のニアリアルタイム検索・分析エンジンで、コアエンジンはオープンソースのApache Luceneをベースにしています。EasysearchはオープンソースライセンスApache 2.0に基づくElasticsearch 7.10バージョンから派生し、より多くのエンタープライズ機能をサポート・改善し、検索ビジネスシナリオを最適化することで、より優れたデー ...

6月7日 17:26 投稿

Easysearch がプラグイン開発を公式にサポート:検索システムを自在にカスタマイズ可能に

「検索を使う」から「検索を作る」へ 検索システムのニーズは多様であり、標準機能だけではすべてのユースケースをカバーすることはできません。業界特有の語彙処理ルール、業務ロジックのカスタマイズ、外部システムとの統合など、さまざまな要件があります。 これまでこうした要件はベンダーによる対応が必要でしたが、Easysearch 2.1.2 からは自分で実装できるようにな ...

5月31日 09:54 投稿