AI SRE: реальные отказы, затраты и риски

Производственные AI SRE-агенты отказывают при вызовах инструментов (tool calls) в 3–15% случаев. Такой диапазон зафиксирован Майклом Ханнеке на реальных развёртываниях, а не в эталонных тестах. При 3% отказов инцидент, требующий 30 вызовов инструментов, с вероятностью примерно 60% столкнётся хотя бы с одним из них. При 15% эта вероятность превышает 99%. Любое решение об устранении последствий, принятое после сбойного вызова, основывается на потенциально искажённых данных.

Как выглядит отказ при вызове инструмента на практике? Агент отправляет корректно сформированный API-запрос и получает в ответ некорректные данные, таймаут или код ошибки. Он не останавливается. Он продолжает рассуждать на основе деградировавших входных данных, опираясь на них как на актуальную картину инцидента. Следствием становятся неверная диагностика и неверные цели для исправления.

Исследование UC Berkeley MAST (arXiv:2503.13657) охватывает аннотирование 1 642 трасс агентов в семи передовых мультиагентных системах. Общий процент неудачных задач на реальных сценариях варьировался от 41% до 86,7%. Ошибки при выполнении инструментов — одна из основных причин.

Поставщики приводят показатели надёжности на уровне отдельного вызова. Для управления инцидентами важна надёжность цепочки. При 97% успешных вызовов в цепочке из 30 шагов вероятность того, что вся цепочка завершится без единого сбоя, составляет примерно 40%. Ни один поставщик AI SRE не публикует эталонных показателей отказов цепочки вызовов. Этот пробел в раскрытии информации заслуживает отдельного внимания.

Рекомендации по оценке платформ с точки зрения обработки режимов отказа — со структурированным подходом к этому пробелу — изложены в соответствующей методологии оценки.

Задокументированное производственное развёртывание AI SRE из четырёх агентов обходится примерно в €8 500 в месяц. Простая реализация на одном LLM с сопоставимыми функциями — около €50 в месяц. Пятнадцатикратный мультипликатор затрат объясняется одним структурным свойством: каждый агент в скоординированной мультиагентной системе обрабатывает своё контекстное окно независимо, и каждый шаг координации умножает потребление токенов через API. При меньшем объёме инцидентов абсолютные затраты ниже, однако соотношение остаётся прежним.

Наиболее опасный вектор роста затрат — это цикл повторных попыток (retry loop). Когда агент раз за разом вызывает отказывающий инструмент без автоматического выключателя (circuit breaker) — без ограничения бюджета токенов, без лимита повторов с экспоненциальной задержкой, без триггера автоматической эскалации — затраты растут без потолка. В ряде задокументированных развёртываний именно всплеск затрат становился первым операционным сигналом о проблеме. К тому моменту, если агент имеет права на запись и уже поставил в очередь действия по устранению, инцидент может успеть усугубиться прежде, чем кто-либо заметит зацикливание.

К итоговой цифре добавляются скрытые затраты. Разработка и тестирование обходятся в 3–5 раз дороже, чем аналоги с одним агентом. Инструменты управления, разработка специфических для AI регламентов (runbooks) и кросс-функциональные команды надзора, как правило, отсутствуют в моделях совокупной стоимости владения, которые предлагают поставщики.

Данные о затратах, необходимые для расчёта ROI пилотного проекта AI SRE, должны включать эти цифры с самого начала, а не по итогам развёртывания.

В контексте SRE галлюцинация — не абстракция. Это конкретный режим отказа с предсказуемой цепочкой распространения ошибки. LLM-агент уверенно называет сервис, которого не существует в топологии. Запрашивает неверный идентификатор ресурса. Строит правдоподобную, но вымышленную карту зависимостей. Каждый последующий шаг рассуждений умножает исходную ошибку.

Цепочка на практике выглядит так: придуманное имя сервиса → неверный запрос топологии → неверная карта зависимостей → неверная цель устранения → действие на неправильной системе → инцидент усугубляется или затягивается.

Ограничения контекстного окна усиливают риск галлюцинаций по мере развития инцидента. Производственные данные показывают 20%-е снижение производительности на материале из средней части контекста — так называемый эффект «потерянного в середине» (lost in the middle). Поставщики позиционируют контекстные окна на 128K и 1M токенов как решение этой проблемы. Но это не так. Эффективное использование контекстного окна в production на практике ограничивается 8K–50K токенов. Чем длиннее инцидент, тем выше вероятность галлюцинации.

Галлюцинации нельзя устранить на уровне модели. Позиция NeuBird: «Галлюцинации — не аномалии; это ожидаемое свойство вероятностных систем. Решение — в дисциплинированной системной инженерии: тестировании, валидации, структурировании, резервировании и контроле входных данных.» Архитектура защитных ограничений (guardrails), покрывающая каждый из этих режимов отказа, подробно рассматривает инженерный дизайн.

Инъекция запросов (prompt injection) — атака того же класса, что SQL-инъекция, только нацеленная на другой вектор. При SQL-инъекции вредоносный ввод переопределяет логику запросов к базе данных. При инъекции запросов вредоносный контент, встроенный во входные данные агента, — записи логов, сообщения алертов, описания тикетов, текст регламентов — переопределяет намеченные инструкции агента, при этом сам агент не сигнализирует о компрометации.

В SRE-контексте поверхность атаки шире, чем в большинстве агентных AI-приложений. SRE-агенты регулярно поглощают ненадёжный контент из логов, внешних инструментов мониторинга, сторонних интеграций оповещения и тикетов, созданных пользователями. Атакующий, контролирующий одну строку в логах, получает потенциальную поверхность для инъекции.

Производственные данные из анализа Ханнеке показывают 11,2%-й показатель успешности инъекций запросов в агентных развёртываниях. OWASP ASI08, поддерживаемый инициативой по безопасности агентных систем (Agentic Security Initiative) в Adversa.ai, официально классифицирует каскадные отказы, инициированные скомпрометированными агентами. Три свойства делают такие отказы особенно опасными: семантическая непрозрачность (ошибки на естественном языке проходят стандартную валидацию), эмерджентное поведение (несколько агентов порождают непредвиденные результаты взаимодействия) и темпоральное накопление (ошибки сохраняются в памяти агента и заражают будущие операции).

Наиболее опасные последствия в SRE-контексте: подавление алертов, маскирующее ухудшение инцидента, перенаправление эскалаций, выполнение действий по устранению на неправильной системе. В большинстве развёртываний AI SRE на сегодняшний день не существует ни обнаружения инъекций, ни соответствующих оповещений.

Сценарий каскадного отказа начинается с одного зависшего агента и заканчивается тем, что production-система ухудшается из-за инструмента, который должен был её защищать. AI SRE-агент вызывает отказывающий инструмент, получает ошибку, повторяет попытку, снова получает ошибку, повторяет снова. Без автоматического выключателя цикл продолжается, с каждой итерацией потребляя токены и квоту API.

В производственном анализе отказов Майкла Ханнеке задокументирован случай, когда цикл повторов без автоматического выключателя привёл к многократным вызовам устранения на работоспособной системе, тогда как реальная неисправность оставалась без внимания. Логика повторов агента работала штатно. Отсутствовал автоматический выключатель — ограничение бюджета токенов, лимит повторов с экспоненциальной задержкой или триггер автоматической эскалации при многократных отказах инструмента.

В графе координации из четырёх агентов зависший агент не изолирован. Его многократные неудачные вызовы распространяют ошибки на зависимых агентов, которые принимают автономные действия по устранению на основе искажённых данных. OWASP ASI08 называет это тесной связью без автоматических выключателей (tight coupling without circuit breakers). Радиус поражения определяется правами на запись, которыми зависший агент располагает в момент начала цикла.

Ступенчатая модель развёртывания — сначала мониторинг только в режиме чтения, затем совещательная роль с обязательным одобрением человека, затем строго ограниченные права на автономное устранение только для проверенных типов инцидентов — является ответом на уровне управления при развёртывании. Архитектура безопасности, регулирующая автономное устранение, подробно рассматривает ступенчатую модель привилегий.

Инженеры ClickHouse на дежурстве обнаружили реальную ценность AI-assisted расследования — и одновременно его границы. Прямые слова одного из инженеров: «Я активно использую Claude, нащупываю его пределы и учусь понимать, когда и как его оспаривать. В целом я работаю значительно быстрее на начальном этапе расследования (делаю за день то, что заняло бы 3–4 дня), но как только у него появляется гипотеза, нужно постоянно требовать, чтобы он подтверждал её данными и логами, а затем проверять и снова давить — потому что он часто не может этого сделать или ошибается.»

На хорошо изученных, ранее встречавшихся паттернах инцидентов автономный AI справляется хорошо. На новых инцидентах — именно тех, что с наибольшей вероятностью угрожают производственным SLA — сопоставление с образцами у агента даёт сбой перед режимами отказа, которых он раньше не видел. Именно здесь автономное расследование не дотягивает.

Надёжный производственный паттерн: гипотезы генерирует агент, проверку и решение принимает инженер-человек. Агент читает логи, формулирует возможные первопричины, предлагает варианты. Инженер оспаривает, требует доказательств из данных и одобряет или отклоняет предложения до выполнения любой операции записи. Права на автономное устранение должны распространяться только на те типы инцидентов, которые система доказуемо успешно решала в прошлом; новые категории должны автоматически инициировать эскалацию к человеку.

Таксономия MAST UC Berkeley (arXiv:2503.13657) — это рецензируемая классификация режимов отказа мультиагентных LLM, полученная путём аннотирования 1 642 трасс агентов в семи системах, с коэффициентом согласованности аннотаторов κ = 0,88. Она выделяет 14 уникальных режимов отказа, сгруппированных в три категории: проблемы системного проектирования (System Design Issues), рассогласование между агентами (Inter-Agent Misalignment) и верификация задач (Task Verification). Диапазон неудачных задач от 41% до 86,7% по семи протестированным системам должен служить отправной точкой для любой оценки возможностей AI SRE — причём эти цифры относятся к штатной эксплуатации, а не к стресс-тестированию.

Режимы отказа MAST, наиболее значимые для SRE, с наблюдаемыми показателями и контекстом:

Проблемы системного проектирования (System Design Issues) — FM-1.3 Повторение шагов (15,7%): рассмотренный выше цикл повторов. FM-1.5 Неспособность распознать завершение задачи (12,4%): агент продолжает устранять последствия после разрешения инцидента. FM-1.1 Несоблюдение требований задачи (11,8%): агент выполняет неверную категорию устранения. FM-1.4 Потеря контекста (2,8%): агент теряет историю инцидента в ходе расследования.

Рассогласование между агентами (Inter-Agent Misalignment) — FM-2.6 Несоответствие между рассуждением и действием (13,2%): заявленный диагноз агента не совпадает с выполняемым устранением. FM-2.3 Отклонение задачи (7,4%): агент-супервизор неверно маршрутизирует расследование, распространяя ошибку далее. FM-2.2 Действие на основе неверных допущений (6,8%): агент действует по непроверенной гипотезе, не запрашивая уточнений.

Верификация задач (Task Verification) — FM-3.3 Некорректная верификация (9,1%): агент проверяет неправильную метрику для подтверждения устранения. FM-3.2 Отсутствие или неполная верификация (8,2%): устранение объявляется успешным без подтверждения улучшения. FM-3.1 Преждевременное завершение (6,2%): инцидент объявляется разрешённым до восстановления состояния системы.

MAST даёт команде общий язык для оценки рисков AI-агентов, независимый от формулировок поставщика. По каждой из 14 категорий задайте поставщику вопрос: предусматривает ли ваша архитектура защиту от этого режима отказа, и какие у вас доказательства? Поставщики, которые не могут ответить, скорее всего, не проводили стресс-тестирование своих систем на граничных режимах отказа. Методологии оценки, включающие MAST в качестве критерия, рассматриваются в материалах по AI-управлению инцидентами.

Недетерминизм — это фундаментальное свойство, которое делает управление AI SRE структурно отличным от традиционного SRE-управления. Одинаковые входные данные могут давать разные результаты. Стандартные детерминированные регламенты, форматы постмортемов и логика эскалаций требуют адаптации — они разрабатывались для систем, где одно и то же действие всегда даёт один и тот же результат.

В production применяются четыре ответные меры управления.

Специализированные AI-регламенты (AI-specific runbooks) должны определять не только порядок действий при отказе системы, но и что делать, когда AI-агент ошибается, когда он скомпрометирован, когда завис, и когда постмортем не может достоверно воспроизвести логику рассуждений агента.

Контрольные точки с участием человека (Human-in-the-loop checkpoints) на границах высокорисковых действий — вторая мера. В применении три HITL-модели: Human-in-the-Loop (инженер управляет и одобряет; агент поддерживает), Human-on-the-Loop (инженер наблюдает; агент выполняет ограниченные действия) и Human-out-of-the-Loop (инженер проводит аудит; агент действует в рамках политики). На новых инцидентах Human-in-the-Loop существенно превосходит Human-out-of-the-Loop.

Принудительное ограничение бюджета токенов с автоматическими выключателями — жёсткие лимиты токенов на сессию инцидента — наиболее технически непосредственная мера. Большинство платформ поддерживают это как настраиваемый параметр.

Адаптация постмортемов: когда последовательность вызовов инструментов AI-агента не поддаётся надёжному воспроизведению — что при недетерминизме является нормой — стандартные постмортемы необходимо дополнять журналированием трасс агентов и аудиторскими следами на уровне токенов.

Полная архитектура управления описана в методологии защитных ограничений. Дизайн пилотного проекта с учётом реалистичных показателей отказов и затрат — в материале по ROI и анализу рисков первого пилота AI SRE. Полный обзор AI SRE, включая перспективы и угрозы, а также место анализа режимов отказа в общей дисциплине, представлен в обзорных материалах серии.