Kubernetes 1.24 クラスタのインストールと設定ガイド

前提条件 以下はKubernetes 1.24のインストール手順を記録したものです。主にCalicoをネットワークプラグイン、Kong Ingressをルーティング転送、Nginxを四層プロキシとして使用します。 サーバー環境 2台のTencent Cloudサーバー 2コア2GB構成 デプロイメント手順 hostsファイルの修正 vi /etc/hosts [マスターIP] master [ノード1IP] node1 ホスト名の変更 host ...

6月14日 23:51 投稿

大規模言語モデル推論基盤の構築と最適化:vLLM と TGI を用いた実戦ガイド

1. はじめに:トレーニングからインフラへ 大規模言語モデル(LLM)の開発ライフサイクルにおいて、最も難易度が高く重要なフェーズの一つが「推論環境の構築」です。ハブ上のオープンソースモデルを取得し、あるいは独自に学習済みのモデルを準備したとしても、そのまま高負荷なリクエストに対応可能な Web サービスとして公開することは容易ではありません。PyTorch の ...

6月13日 22:31 投稿

KubernetesにおけるKubeletノードリソースの予約設定

Node Allocatableの概要 Kubernetesクラスターにおいて、各ノードは物理的なハードウェアリソース(CPU、メモリ、ストレージ)を持っています。これらのリソースはPodだけでなく、Kubernetes自体やOSのシステムプロセスにも使用されます。しかし、デフォルトではすべてのリソースがPodに割り当て可能となっており、システムプロセスがリソース不足に陥るとノードの不安定化 ...

6月12日 21:44 投稿

KubernetesにおけるLimitRangeによるリソース制御

LimitRangeによるリソース制約の管理 KubernetesではデフォルトでPodにCPUやメモリの制限を設けていないため、ノードの全リソースを消費可能です。多数のPodが存在する環境で個別にリソース制限を設定しない場合、クラスター全体で以下のような制約を適用できます: 2GBメモリのノードで単一Podが2GBを超えないように制限 異なるNamespaceで開発環境(5 ...

6月10日 21:07 投稿

Kubernetes kubeadm デプロイ時のトラブルシューティング問題集

問題解決の概要 kubeadmを使用してKubernetesクラスターをデプロイする際、様々な技術的な問題に直面することがあります。この記事では、よくある問題とその解決策を体系的に整理し、問題解決の方向性を示します。 よくある問題と解決策 エラー: The connection to the server localhost:8080 was refused - did you specify the right host or port? このエラーはkubect ...

6月10日 18:06 投稿

Kubernetes クラスターの構築 (バイナリ方式)

1. 事前準備 Kubernetesクラスターを構築する前に、以下の要件を満たす必要があります。 CentOS7.x-86_x64 を使用した1台以上のマシン ハードウェア仕様: 2GB以上のRAM, 2コア以上のCPU, 30GB以上のディスクスペース インターネットへのアクセス(イメージのダウンロードが必要) スワップパーティションを使用しない 2. 環境設定 役割 IP master1 192.168.44.1 ...

6月9日 20:47 投稿

KubernetesネイティブのAI推論オペレーターKubeAIによる運用実践

1. 背景と目的:なぜKubernetes上でAI推論を管理する必要があるのか 大規模言語モデル(LLM)や音声認識モデルを本番環境にデプロイする際、多くのエンジニアが直面する課題があります。開発環境では正常に動作していたモデルが、Kubernetesクラスターに移行すると、GPUリソースの割当不均衡、モデル起動遅延、リクエストキューの肥大化、スケーリングの非効率性といった問 ...

6月9日 20:38 投稿

Kubernetes 上で EMQX クラスタをデプロイする徹底ガイド

EMQX を Kubernetes 上にデプロイするには、Helm チャートを利用した簡易手法と、カスタムリソースで完全制御する手法の2通りがあります。以下では、実用的な構成を段階的に解説します。 Helm を用いた迅速なデプロイ EMQX の公式 Helm リポジトリを追加し、デフォルト設定でクラスタを起動します。 helm repo add emqx https://repos.emqx.io/charts helm repo update ...

6月8日 18:25 投稿

阿里云サーバー上でkubeadmを使用したk8sクラスタ構築

この記事は、B站のUP主「尚硅谷」によるKubernetes(k8s)講義動画に基づく学習内容のまとめです:https://www.bilibili.com/video/BV1w4411y7Go 阿里云サーバー上でのk8sクラスタ構築 このチュートリアルでは、初心者向けにシンプルな1マスター2スレーブ構成のクラスタを構築します。これはk8sの完全な機能を体験するには不十分ですが、学習初期段階では適切なスタート地 ...

6月7日 22:34 投稿

日本国内ネットワーク環境におけるDockerイメージ取得の高速化手法

コンテナベースのアーキテクチャ導入に伴い、CI/CDパイプラインやデプロイメントプロセスにおけるイメージ取得速度は、開発生産性に直結する重要な要素です。しかし、地理的な制約やネットワーク帯域のボトルネックにより、パブリックレジストリからのデータ取得が不安定化・低速化することがあります。特にレイテンシが高い環境ではビルドタイムアウトやデプロイ遅延を招 ...

6月7日 21:36 投稿