vLLM Serve パラメータ詳細解説
概要
vLLMのプロダクション向けサービス起動コマンドで、モデルをOpenAI互換APIに変換します。並列リクエスト、マルチGPU、量子化加速などの高度機能をサポート。
benchシリーズとの違い
bench latency/throughput - エンジン性能測定（ネットワーク無し）
bench serve - 実際のユーザー負荷テスト（ネットワーク含む）
serve - 本番環境での実際のリクエスト処理
パラ ...
10月13日 06:11 投稿
NVIDIA 4090 GPUにおけるSGEMM最適化の報告
概要
SGEMM（Single-precision General Matrix-matrix Multiply）は、BLAS（Basic Linear Algebra Subprograms）ライブラリの中核をなす関数であり、$ C=α⋅op(A)⋅op(B)+β⋅C$ という演算を実行します。この関数は、高性能コンピューティング（HPC）分野において不可欠な存在であり、科学計算、工学シミュレーション、さらにはディープラーニングといった最先端の応用に対す ...
9月9日 16:44 投稿
3DGSによる3次元再構成の実践
人工知能は現代の主要な分野の一つであり、自動運転車から医療、さらには失明予防まで、あらゆる分野で応用されています。最近、新しい3D再構成方法が提案されました。
現在利用可能な多くの最先端の3D再構成手法は、シーンの処理やレンダリングに大量のCPU/GPUリソースを必要とします。一部の手法は両方を必要とするものさえあります。
過去数年間、NeRF（ニューラルレイ ...
5月27日 16:06 投稿