Множество LLM на Kubernetes: llm-d, Istio и LiteLLM

llm-d-stack/
  Chart.yaml          # Обёрточный чарт, зависит от сабчарта llm-d
  values.yaml         # Базовые значения по умолчанию
  cluster-values.yaml # Переопределения для конкретного кластера (конфигурация ALB, список моделей)
  templates/
    modelservice.yaml     # CR ModelService для каждой модели
    gateway.yaml          # CR Istio Gateway для каждой модели
    ga-inferencepool.yaml # CR InferencePool для каждой модели
    ga-httproute.yaml     # CR HTTPRoute для каждой модели
    alb-ingress.yaml      # Ресурсы ALB Ingress для каждой модели
    ...

models:
  - name: "Qwen/Qwen2.5-0.5B-Instruct"
    resourceName: "qwen-qwen2-5-0-5b-instruct"
    hostname: "qwen.example.com"
    enabled: true
    replicas: 1
    gpu: 1
    maxModelLen: 8192
    gpuMemoryUtilization: "0.5"
  - name: "microsoft/Phi-4-mini-instruct"
    resourceName: "phi-4-mini-instruct"
    hostname: "phi4.example.com"
    enabled: true
    replicas: 1
    gpu: 1
    maxModelLen: 4096
    gpuMemoryUtilization: "0.5"

ModelService CR (объявляет модель)
  |-- Контроллер создаёт: Deployment vLLM, Deployment EPP, CR InferenceModel
Gateway CR (gatewayClassName: istio)
  |-- Istio создаёт: под Gateway (прокси Envoy)
HTTPRoute (parentRef: Gateway, backendRef: InferencePool)
  |-- Говорит Envoy: маршрутизировать путь "/" в InferencePool
InferencePool (endpointPickerRef: EPP, selector: decode-поды)
  |-- Говорит Istio: использовать EPP как ext-proc-фильтр
Ingress (ALB, правило по имени хоста)
  |-- Говорит ALB: маршрутизировать имя хоста к сервису Gateway

{{- if .Values.ingress.enabled }}
{{- range .Values.models }}
{{- if and .enabled .hostname }}
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: {{ .resourceName }}-ingress
  annotations:
    alb.ingress.kubernetes.io/group.name: {{ $.Values.ingress.groupName }}
    alb.ingress.kubernetes.io/scheme: internal
    alb.ingress.kubernetes.io/target-type: ip
    alb.ingress.kubernetes.io/certificate-arn: {{ $.Values.ingress.certificateArn }}
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}]'
    alb.ingress.kubernetes.io/healthcheck-port: "15021"
    alb.ingress.kubernetes.io/healthcheck-path: /healthz/ready
spec:
  ingressClassName: alb
  rules:
    - host: {{ .hostname }}
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: {{ .resourceName }}-gateway-istio
                port:
                  number: 80
{{- end }}
{{- end }}
{{- end }}

# Gateway — создаёт под Istio Envoy-прокси
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
  name: {{ .resourceName }}-gateway
  annotations:
    networking.istio.io/service-type: ClusterIP
spec:
  gatewayClassName: istio
  listeners:
    - name: http
      port: 80
      protocol: HTTP
# HTTPRoute — направляет весь трафик в InferencePool
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: {{ .resourceName }}-route
spec:
  parentRefs:
    - name: {{ .resourceName }}-gateway
  rules:
    - backendRefs:
        - group: inference.networking.k8s.io
          kind: InferencePool
          name: {{ .resourceName }}-pool
# InferencePool — связывает EPP и decode-поды
apiVersion: inference.networking.k8s.io/v1alpha2
kind: InferencePool
metadata:
  name: {{ .resourceName }}-pool
spec:
  targetPortNumber: 8000
  selector:
    matchLabels:
      llm-d.ai/model: {{ modelLabel }}
  endpointPickerConfig:
    extensionRef:
      name: {{ .resourceName }}-epp

- model_name: qwen-0.5b
  litellm_params:
    model: openai/Qwen/Qwen2.5-0.5B-Instruct
    api_base: https://qwen.example.com/v1
    api_key: "not-needed"
- model_name: phi-4-mini
  litellm_params:
    model: openai/microsoft/Phi-4-mini-instruct
    api_base: https://phi4.example.com/v1
    api_key: "not-needed"

curl https://litellm.example.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "phi-4-mini", "messages": [{"role": "user", "content": "Hello"}]}'

# Масштабирование до нуля — GPU-узлы освобождаются Karpenter примерно за 2 мин
kubectl patch modelservice qwen-0-5b -n llm-d \
  --type='merge' -p='{"spec":{"decode":{"replicas":0}}}'
kubectl scale deploy -n llm-d -l llm-d.ai/role=decode --replicas=0
# Масштабирование обратно — холодный старт ~5–8 мин (подготовка узла + загрузка образа + загрузка модели)
kubectl patch modelservice qwen-0-5b -n llm-d \
  --type='merge' -p='{"spec":{"decode":{"replicas":1}}}'
kubectl scale deploy -n llm-d -l llm-d.ai/role=decode --replicas=1

kubectl apply -k "github.com/kubernetes-sigs/gateway-api/config/crd/?ref=v1.4.0" \
  --server-side --force-conflicts
kubectl apply -k "github.com/kubernetes-sigs/gateway-api-inference-extension/config/crd/?ref=v1.3.0" \
  --server-side --force-conflicts

apiVersion: v1
kind: Namespace
metadata:
  name: llm-d
  labels:
    istio-injection: disabled

vllm:
  image:
    registry: ghcr.io
    repository: llm-d/llm-d-cuda
    tag: "v0.5.0"