実時間ログ処理におけるメモリ枯渇対策と動的highWaterMarkによるバックプレッシャー制御
実時間ログ収集・解析システムの開発において、継続的なデータストリームの処理中にヒープメモリが消費し尽くされOOM（Out Of Memory）エラーが発生するケースは頻繁に報告される。この現象は、上流からのデータ流入速度と下流処理（データベースへの永続化、外部API連携、複雑なパターンマッチングなど）の速度に乖離が生じ、Node.jsストリーム内部のバッファが制御不能に ...
8月4日 20:57 投稿