KubernetesでDeepSeekを動かす際のDevice-Plugin設定漏れが招く4つのGPUリソース分離障害とその対策

NVIDIAのGPU device-pluginは、KubernetesでGPUスケジューリングを可能にする基盤コンポーネントです。しかし、このプラグインが欠落していたり、設定が誤っていたりしてもPodの起動自体は失敗しません。その代わり、静かなリソース競合が発生し、大規模言語モデル(DeepSeek-R1など)の推論サービスで、高負荷時のOOM(メモリ不足)、メモリリーク、CUDA_ERROR_INVALID_HA ...

5月21日 04:39 投稿

行政手続きにおける書類画像解析と政策質疑応答:MiniCPM-o-4.5 と FlagOS の実装ガイド

1. 背景とシステム概要 行政窓口における業務処理は、大量の紙媒体書類の核对や、複雑な政策規定に基づく説明対応など、人的コストがかかる作業が多く存在します。職員が書類を手作業で確認し、市民の質問に答えるプロセスは時間がかかり、かつ政策の更新漏れや認識ミスによるリスクも伴います。 この課題を解決するため、マルチモーダル AI 模型を活用した自動化システム ...

5月20日 11:31 投稿