5 июля 2026 г.
Описана production-архитектура для обслуживания нескольких LLM на Kubernetes с двухуровневой маршрутизацией: LiteLLM как единый API-шлюз, Istio Gateway API с Inference Extension и llm-d для KV-кеш-осведомлённого планирования инференса.
4 июля 2026 г.
Классические паттерны Kubernetes (Deployment, StatefulSet, DaemonSet) применимы к LLM-нагрузкам, но масштаб и параметры кардинально меняются: секунды превращаются в минуты, мегабайты — в гигабайты. Появляются и новые паттерны: Model Data Staging, Token-Aware Routing, RAG Composition.
22 июня 2026 г.
Inference Extension для Kubernetes Gateway API маршрутизирует LLM-запросы с учётом состояния KV-кэша, LoRA-адаптеров и глубины очередей бэкендов. Статья объясняет архитектуру расширения и показывает, как отслеживать эффективность маршрутизации через Datadog.
14 июня 2026 г.
MarkItDown — Python-утилита от Microsoft для конвертации PDF, Word, Excel, PowerPoint, изображений и других форматов в Markdown, оптимизированный для обработки языковыми моделями.
13 июня 2026 г.
mq — CLI-инструмент на Rust для фильтрации и трансформации Markdown-файлов с синтаксисом, аналогичным jq. Поддерживает REPL, LSP, GitHub Actions и языковые привязки для Python, Go и других.
26 мая 2026 г.
Большинство LLM-сгенерированного SQL не падает. Он выполняется и возвращает результат — но не тот, что нужен. Разбор пяти типов «правдоподобно-неправильного» SQL и того, что это значит для архитектуры данных.
26 мая 2026 г.
Все теперь используют AI для пост-мортемов, но «использовать AI» означает совершенно разные вещи — от автозаполнения до полной автогенерации. Разбор четырёх уровней с честными trade-off'ами.