Logstashを活用したMySQLからEasysearchへのデータ同期構築方法
ELKスタックの一環であるLogstashを利用すれば、リレーショナルデータベースから検索エンジンへ効率的にデータ移行が可能です。本稿では、MySQLからEasysearchへの増分同期パイプライン設定について解説します。
必須要件
主キーの存在: テーブルには一意な識別子(例: pk_id)が必須です。これにより、ソースDBレコードとEasysearchのドキュメントIDを厳密に一致させ、 ...
8月15日 21:20 投稿
Canal を使用して MySQL データを Easysearch にリアルタイムで同期する方法
Canal は、阿里巴巴(アリババ)グループが提供するオープンソース製品で、データベースの増分ログを解析することで、増分データのサブスクリプションと消費機能を提供します。Canal を MySQL のスレーブとして機能させ、MySQL の増分データ binlog をリアルタイムで受信し、その後 RESTful API を介して Easysearch にデータを書き込みます。
前提条件
Easysearch クラ ...
8月14日 08:41 投稿
Easysearch クラスタのディスク容量逼迫時の対処法
Easysearch はディスクを完全に使い切るのを防ぐため、「ディスクウォーターマーク(水位線)」機能を用いてストレージ使用量を制御しています。以前の記事で、各水位線の役割や INFINI Console を使った事前アラート設定について紹介しました。本稿では、実際に容量が逼迫した場合の事前対応策を中心に解説します。
1. リソースの追加
リソースに余裕がある場合は、クラ ...
7月29日 17:41 投稿
Scrapyを活用したウェブコンテンツ抽出とEasysearchへのリアルタイムインデックス化
プロジェクト初期化と環境準備
ScrapyはPython向けの非同期基盤に基づく高機能スクレイピングフレームワークです。対象ドメインのDOM構造を効率的に走査し、構造化データを取得するための標準的な雛形生成は以下のCLIコマンドで完了します。
pip install scrapy
scrapy startproject article_indexer
cd article_indexer/spiders
scrapy genspider content_fetcher docs.sa ...
7月26日 16:36 投稿
EasysearchのSearchable Snapshots機能:実装と運用ガイド
Searchable Snapshots機能の概要
Searchable Snapshots(検索可能スナップショット)機能は、バックアップデータに対する従来のクエリアクセス方法を変革します。従来の方法では、対象のスナップショットを特定し、適切な環境へリストアを行った後にクエリを実行する必要があり、処理フローが長く時間も消費していました。本機能はこのプロセスを大幅に効率化します。
ノ ...
7月1日 19:14 投稿
Coco AI 実践(1):Coco Server を Linux に導入
Coco AI とは
Coco AI は、アプリケーションやファイル、Google Drive、Notion、Yuque、Hugo など複数のデータソースに接続可能な、オープンソースでクロスプラットフォームの統合検索および生産性向上ツールです。さまざまな大規模モデルとの連携により、個人向けのスマートな知識管理を実現し、プライベート環境への導入もサポートしています。
Docker を利用した導入手 ...
7月1日 18:35 投稿
Spring Boot アプリケーションにおけるEasysearchクライアント統合の実装
概要
多くの開発者は、既存のElasticsearchクライアントをEasysearchに移行する必要性に直面しています。本稿では、Spring BootアプリケーションでHigh-Level RESTクライアントを使用してEasysearchに接続する方法について、設定から基本操作まで詳しく解説します。
サーバー側の設定
最初に、Easysearchノードの設定ファイルを修正する必要があります。easysearch.ymlフ ...
6月25日 22:24 投稿
AI エージェントに長期記憶を実装:Mem0 と Easysearch の統合ガイド
AI エージェントと対話中に、以前説明したバグの根本原因やプロジェクト固有のルールを毎回繰り返し説明しなければならない経験はないだろうか。これは、現在の多くのエージェントがコンテキストウィンドウ内でのみ「記憶」を持ち、セッション終了と共にその情報を失うためだ。
本稿では、Mem0 と Easysearch を組み合わせて、ローカル環境で動作するセッション横断型の長 ...
6月7日 21:14 投稿
INFINI Easysearchのパフォーマンステスト手法
INFINI Easysearch
INFINI Easysearchは分散型のニアリアルタイム検索・分析エンジンで、コアエンジンはオープンソースのApache Luceneをベースにしています。EasysearchはオープンソースライセンスApache 2.0に基づくElasticsearch 7.10バージョンから派生し、より多くのエンタープライズ機能をサポート・改善し、検索ビジネスシナリオを最適化することで、より優れたデー ...
6月7日 17:26 投稿
Easysearch がプラグイン開発を公式にサポート:検索システムを自在にカスタマイズ可能に
「検索を使う」から「検索を作る」へ
検索システムのニーズは多様であり、標準機能だけではすべてのユースケースをカバーすることはできません。業界特有の語彙処理ルール、業務ロジックのカスタマイズ、外部システムとの統合など、さまざまな要件があります。
これまでこうした要件はベンダーによる対応が必要でしたが、Easysearch 2.1.2 からは自分で実装できるようにな ...
5月31日 09:54 投稿