VLLMにおけるメモリリーク診断：KVキャッシュの隠れた肥大化を特定しOOMを阻止する
VLLMを高負荷な推論ワークロードで運用する際、GPUメモリ使用量が予測不能に増大し、最終的にOOM（Out Of Memory）エラーでクラッシュする問題に直面することがあります。この現象は、明示的なエラーや例外を伴わず、`nvtop`などのツールでGPUメモリの単調な増加として現れます。Python側のヒープメモリに顕著なリークが見られない場合でも、VLLMのKVキャッシュ管理機構、 ...
10月16日 00:21 投稿