DeepSeek R1を活用したプライベート知識ベース構築手法
DeepSeek R1はその優れた推論チェーン処理能力で注目を集めていますが、Spring AIなどの主要フレームワークでは流式出力や思考過程の保持に制限があり、十分なサポートが提供されていません。deepseek4j 1.4では、ベクトルモデル対応など重要な機能拡張が実装されました。
設計思想
このライブラリは、DeepSeek APIの利用を簡素化し、Function CallingやJSONパース、Reaso ...
7月17日 16:30 投稿
KubernetesでDeepSeekを動かす際のDevice-Plugin設定漏れが招く4つのGPUリソース分離障害とその対策
NVIDIAのGPU device-pluginは、KubernetesでGPUスケジューリングを可能にする基盤コンポーネントです。しかし、このプラグインが欠落していたり、設定が誤っていたりしてもPodの起動自体は失敗しません。その代わり、静かなリソース競合が発生し、大規模言語モデル（DeepSeek-R1など）の推論サービスで、高負荷時のOOM（メモリ不足）、メモリリーク、CUDA_ERROR_INVALID_HA ...
5月20日 19:39 投稿