#vllm — статьи по теме на meganuke

#vllm

Множество LLM на Kubernetes: llm-d, Istio и LiteLLM

5 июля 2026 г.

Описана production-архитектура для обслуживания нескольких LLM на Kubernetes с двухуровневой маршрутизацией: LiteLLM как единый API-шлюз, Istio Gateway API с Inference Extension и llm-d для KV-кеш-осведомлённого планирования инференса.

#gateway-api #gpu #inference #istio #llm #vllm

Inference-aware routing в Kubernetes: мониторинг LLM

22 июня 2026 г.

Inference Extension для Kubernetes Gateway API маршрутизирует LLM-запросы с учётом состояния KV-кэша, LoRA-адаптеров и глубины очередей бэкендов. Статья объясняет архитектуру расширения и показывает, как отслеживать эффективность маршрутизации через Datadog.

#datadog #gateway-api #inference #kubernetes #llm #vllm