大規模言語モデル推論基盤の構築と最適化：vLLM と TGI を用いた実戦ガイド
1. はじめに：トレーニングからインフラへ
大規模言語モデル（LLM）の開発ライフサイクルにおいて、最も難易度が高く重要なフェーズの一つが「推論環境の構築」です。ハブ上のオープンソースモデルを取得し、あるいは独自に学習済みのモデルを準備したとしても、そのまま高負荷なリクエストに対応可能な Web サービスとして公開することは容易ではありません。PyTorch の ...
6月13日 22:31 投稿
Qwen3.6の冗長な思考出力を構造化する
目標
Qwen3の思考プロセスを「目標→状態→アルゴリズム→境界条件→検証→コード」のフォーマットで出力させる。
背景
Qwen3などの思考モデルは、通常<think>...</think>タグ内に自由形式の推論過程を出力する。この自由形式をGBNF（GGML BNF）構文で制約することで、以下のような構造化された出力を実現可能：
<think>
GOAL: Pythonで二分探索を実装
STA ...
5月31日 21:47 投稿
昇華AIプラットフォームにおける大規模言語モデル高速推論の実装：MindIE 1.0.0とvLLM 0.4.2の統合手法
昇華ハードウェア向けvLLMフレームワークの最適化プロセス
企業向け対話型AIシステムの開発において、従来のGPU環境から昇華AIチップへの移行が求められました。特にvLLMのCUDA特化設計を昇華アーキテクチャに適合させる際、アテンション計算とKVキャッシュ管理の再実装が最大の課題となりました。以下に実践的な解決手法を示します。
1. 基盤環境構築のポイント
昇華プ ...
5月16日 19:11 投稿