vLLM Serve パラメータ詳細解説
概要
vLLMのプロダクション向けサービス起動コマンドで、モデルをOpenAI互換APIに変換します。並列リクエスト、マルチGPU、量子化加速などの高度機能をサポート。
benchシリーズとの違い
bench latency/throughput - エンジン性能測定（ネットワーク無し）
bench serve - 実際のユーザー負荷テスト（ネットワーク含む）
serve - 本番環境での実際のリクエスト処理
パラ ...
10月13日 06:11 投稿