Миграция со Slurm на Kubernetes без боли
15 августа 2026 г.
SkyPilot позволяет перенести ML-нагрузки со Slurm на Kubernetes, сохраняя привычный интерфейс и интерактивную разработку без сложных YAML-манифестов.
#gpu
Динамическое MIG-разбиение GPU в Kubernetes
30 июля 2026 г.
Автор разработал кастомный оператор Kubernetes для динамического перераздела GPU A100 через MIG, что подняло утилизацию с 40% до 85% и сэкономило $120k за полгода.
Kubernetes v1.35: операторы Gt и Lt в допусках (альфа)
20 июля 2026 г.
В Kubernetes v1.35 появились расширенные операторы допусков Gt и Lt, позволяющие планировать поды на узлах по числовым порогам — SLA, стоимости, производительности GPU и дискового IOPS.
Множество LLM на Kubernetes: llm-d, Istio и LiteLLM
5 июля 2026 г.
Описана production-архитектура для обслуживания нескольких LLM на Kubernetes с двухуровневой маршрутизацией: LiteLLM как единый API-шлюз, Istio Gateway API с Inference Extension и llm-d для KV-кеш-осведомлённого планирования инференса.
Паттерны Kubernetes для LLM-нагрузок: что меняется
4 июля 2026 г.
Классические паттерны Kubernetes (Deployment, StatefulSet, DaemonSet) применимы к LLM-нагрузкам, но масштаб и параметры кардинально меняются: секунды превращаются в минуты, мегабайты — в гигабайты. Появляются и новые паттерны: Model Data Staging, Token-Aware Routing, RAG Composition.