11 октября 2026 г.
Inference Perf теперь умеет воспроизводить реальные OpenTelemetry-трассировки агентов как нагрузочные тесты, сохраняя параллельные вызовы инструментов, зависимости между шагами и рост контекста — вместо синтетических запросов.
5 сентября 2026 г.
piqc — открытый коллектор фактов для AI-инференса на Kubernetes, который выявляет три типа GPU-расточительства: простаивающие аллокации, несоответствие уровней оборудования и тёмную ёмкость. Один запуск `piqc scan` даёт мгновенный отчёт о стоимости без внешних платформ.
5 июля 2026 г.
Описана production-архитектура для обслуживания нескольких LLM на Kubernetes с двухуровневой маршрутизацией: LiteLLM как единый API-шлюз, Istio Gateway API с Inference Extension и llm-d для KV-кеш-осведомлённого планирования инференса.
22 июня 2026 г.
Inference Extension для Kubernetes Gateway API маршрутизирует LLM-запросы с учётом состояния KV-кэша, LoRA-адаптеров и глубины очередей бэкендов. Статья объясняет архитектуру расширения и показывает, как отслеживать эффективность маршрутизации через Datadog.