Многие компании с раздражением замечают, что об авариях они узнают не от собственного мониторинга, а от пользователей. В ответ создают всё новые алерты — но легче не становится. Корень проблемы, как правило, в том, что внимание по-прежнему сосредоточено на поведении машин, а не на том, что в это время испытывают пользователи.
Алертить на то, что легко измерить, против того, что важно измерять
Первые алерты в большинстве компаний строятся вокруг инфраструктурных показателей: загрузка процессора, потребление памяти, занятость диска, сетевая полоса. Причина проста: эти метрики легко собирать. Спросил операционную систему о загрузке CPU — она ответила. Любая система мониторинга собирает инфраструктурные метрики «из коробки».
Если на этом остановиться, вы будете получать только то, что серверы могут рассказать о самих себе. Такая информация может быть полезна для диагностики, но как основа для алертов она слабовата. Она порождает много ложных срабатываний, а те, в свою очередь, ведут к усталости от алертов (alert fatigue) у инженеров.
Метрики пользовательского опыта (user-experience metrics) измерять сложнее. Чтобы честно замерить время загрузки страницы с точки зрения пользователя, нужно инструментировать клиентскую сторону, а для веб-приложения это означает борьбу с разнообразием браузеров, нестабильностью сети, эффектами кэширования и расхождением между тем, что сервер считает отправленным, и тем, что пользователь реально увидел. Инфраструктурные метрики лежат на поверхности; метрики пользовательского опыта требуют настоящих инженерных усилий. Это объясняет, почему команды начинают именно с инфраструктурных метрик, но не оправдывает продолжение такой практики — если вы уже знаете лучше.
Рабочие метрики против ресурсных метрик
В обучающем материале Datadog Monitoring 101 проводится полезное разграничение между «рабочими метриками» (work metrics) и «ресурсными метриками» (resource metrics). Рабочие метрики измеряют результат, который система производит для пользователей: выполняются ли запросы успешно, укладываются ли они в допустимое время ответа, завершаются ли плановые задачи вовремя. Ресурсные метрики описывают внутреннее состояние системы. Обе категории важны, но для разных задач.
Сервис, утилизирующий процессор на 95%, но отвечающий на каждый запрос в пределах целевой задержки, — не в инциденте. Процессор загружен, но пользователи довольны. Высокая загрузка CPU зачастую является целью: всё, что ниже, означает оплату мощностей, которые не используются.
А вот сервис с 5% загрузкой процессора, возвращающий ошибки каждому второму запросу, — самый настоящий инцидент. Метрика CPU в порядке, но пользовательский опыт — нет.
Соблазн велик: сделать CPU-алерт умнее — добавить оповещение и о низкой загрузке, выставить разные пороги для пакетных и интерактивных систем, подстроить их под время суток. Но это игра в «ударь крота»: в любом из этих сценариев число загрузки CPU само по себе не даёт оснований для алерта (хотя как диагностический инструмент оно полезно — ему место на дашборде, а не в уведомлении).
На что реально стоит поднимать людей
О том, что пользователи пострадали, говорят такие показатели, как процент успешных запросов и их задержка. Это рабочие метрики, а не ресурсные, и они измеряют то, что важно самим пользователям, — именно на них и нужно настраивать пейджинг (page). Загрузка CPU — ресурсная метрика, и пользователям до неё нет дела.
Конкретные пороги зависят от вашего сервиса, но алерты, заслуживающие пробуждения дежурного, выглядят примерно так:
-
Процент успешных входов упал ниже 90%.
-
Задержка главной страницы превышает десять секунд на протяжении последних пяти минут.
-
Аккаунты пользователей блокируются с нехарактерной частотой из-за повторяющихся сбоев при оплате.
-
Доля ошибок при обработке платежей резко выросла выше 2%.
-
Оценка качества результатов поиска (то есть доля запросов, вернувших релевантные результаты) опустилась ниже порогового значения.
По каждому из этих алертов нужно немедленно разбираться при срабатывании. Дежурный с первого взгляда понимает, что происходит с пользователями, и может сразу приступить к расследованию. Сравните это с ситуацией «CPU на server-42 превысил 90%»: прежде чем начать что-то делать, инженер потратит десять минут только на то, чтобы выяснить, важен ли этот алерт вообще и затронуты ли пользователи.
Книга Google по SRE популяризировала фреймворк «четырёх золотых сигналов» (four golden signals) именно для такого ориентированного на пользователя мониторинга: задержка (latency), трафик (traffic), ошибки (errors) и насыщение (saturation). Это хорошая отправная точка, но потребуются и специфические для домена сигналы: процент успешных транзакций для платёжного сервиса, задержка доставки для системы сообщений, события буферизации для видеоплатформы, процент завершения для движка рабочих процессов и так далее.
Важнее конкретного фреймворка — сам подход: вы измеряете с точки зрения пользователя или с точки зрения инфраструктуры? Команда, отслеживающая три пользовательских метрики, которые она выбрала сама, находится в лучшем положении, чем команда с монструозным стеком мониторинга, который по-прежнему будит людей из-за загрузки CPU.
Где ресурсным метрикам самое место
Ресурсные метрики, безусловно, полезны — просто не как основание для пробуждения дежурного. Возражение со стороны инфраструктурных и capacity-planning команд справедливо: если не следить за диском, который заполняется, рано или поздно случится авария, которой можно было избежать. Это правда, но именно здесь важно разграничить «алертинг» и «пейджинг».
Алерт о заканчивающемся месте на диске не обязан будить кого-то — как правило, он может просто создать тикет. Решающий фактор — срочность. Диск, который заполнится через неделю, — это задача для планирования ёмкости, а не страница в три часа ночи. Пользователи ещё не страдают, да и само исправление (добавить хранилище или почистить старые данные) не из тех, что делают среди ночи. Если поднять человека по этому поводу, вы разбудите его ради тикета, над которым он в рабочее время и займётся. Диск, который заполнится через час, — уже другой разговор: здесь пейджинг оправдан, потому что пользователи вот-вот пострадают.
Та же логика применима к предиктивным CPU-алертам, трендам потребления памяти, предупреждениям об истечении сертификатов и прочим ранним индикаторам. Они ценны как тикеты, дашборды и пункты еженедельного обзора. Если отказ не грозит вот-вот, добавьте метрику на дашборд и создайте тикет для разбора в рабочее время. Будите людей — по рабочим метрикам и по действительно неминуемым ресурсным сбоям.
Даже на дашборде стоит относиться к ресурсным метрикам с здоровым скептицизмом. У медиков скорой помощи есть правило: лечи пациента, а не монитор. Пульс мог упасть до нуля потому, что у пациента остановка сердца, — а может, просто отошёл провод датчика. Ресурсные метрики таят те же ловушки: скачок CPU может быть артефактом планировщика контейнеров, а резкое изменение потребления памяти — нормальным поведением кэша, а не утечкой. Цифры полезны как контекст для диагностики уже известной проблемы, но как основной механизм обнаружения они не дают достаточно информации о влиянии на пользователей.
Усталость от алертов усугубляет ситуацию
Главная опасность пейджинга по ресурсным метрикам — не сами лишние пробуждения. Опасно то, что они делают с реакцией вашей команды на любой пейдж, включая важные.
Если дежурный инженер получил за ночь десять страниц, и девять из них оказались скачками CPU, которые сами прошли, или диском, которому ещё неделю до заполнения, — человек неизбежно начнёт воспринимать страницы как «скорее всего, ничего важного». Когда десятая страница окажется настоящей (процент успешных входов упал до 50%), он может не отреагировать с должной срочностью. Усталость от алертов нарастает постепенно, через накопление малоценных уведомлений, и остаётся практически незаметной — до тех пор, пока что-то важное не провалится сквозь пальцы.
Одна практика, которую я видел работающей в Google, — сделать разбор алертов постоянным пунктом еженедельного операционного обзора. SRE-команды просматривали каждый алерт, который разбудил кого-то за прошедшую неделю, и для каждого задавали вопросы: был ли он требующим действий, привёл ли он к реальной работе, которую нужно было выполнить немедленно, стоит ли скорректировать порог или вовсе удалить алерт (или перевести его с пейджинга на создание тикета).
Эта практика предполагает кое-что важное об объёме пейджинга: он должен быть настолько невысоким, чтобы разобрать все страницы за прошедшую неделю можно было за часть встречи, у которой есть и другие темы. Если не успеваете — вас будят слишком часто.
Когда проблему первыми замечают пользователи
В Slack мы нашли одну легко измеримую вещь, которая хорошо сигнализировала о проблемах пользователей: количество просмотров нашей публичной страницы статуса. Всякий раз, когда мы видели всплеск посещений страницы статуса, мы могли быть практически уверены, что что-то не так, — даже если никакие другие алерты ещё не сработали. Это был верный знак: нужно идти разбираться, пока не найдёшь, что гонит пользователей на страницу статуса.
Когда пользователи сталкиваются с чем-то неожиданным, часть из них заходит на вашу страницу статуса, чтобы понять: проблема на их стороне или на вашей. Всплеск означает, что значительное число ваших пользователей задало этот вопрос одновременно. Этот сигнал особенно ценен тем, что он независим от вашего производственного мониторинга. Если у мониторинга есть слепое пятно, коллективное поведение пользователей его заполняет.
Даже при хорошо настроенных алертах по рабочим метрикам слепые пятна остаются: режимы отказов, которые вы не предусмотрели; рабочие метрики, о которых вы ещё не подумали, и так далее. Когда они проявятся, сигнал придёт, как правило, через пользователей: всплески на странице статуса, обращения в поддержку, упоминания в социальных сетях. Поэтому, помимо мониторинга страницы статуса, убедитесь, что ваши команды поддержки и SMM могут быстро эскалировать ситуацию в инженерную команду. И когда пользователи всё же оказываются первым источником обнаружения инцидента, отметьте это в постмортеме и задайтесь вопросом: как автоматический мониторинг мог бы поймать это раньше? Каждый такой случай — возможность закрыть пробел.
С чего начать
В следующий раз, когда кто-то спросит «почему мониторинг это не поймал?», ответом не должно быть «мы следили за CPU». Вот несколько вещей, которые можно сделать прямо сейчас:
-
Выберите несколько самых важных действий, которые ваши пользователи выполняют в вашем продукте, настройте алерты на то, работают ли они, и сделайте именно эти алерты теми, что будят дежурного.
-
Следите за частотой просмотров страницы статуса.
-
Убедитесь, что у команд поддержки и SMM есть быстрый канал эскалации к инженерам — на случай, когда они начинают получать однотипные жалобы от разных пользователей.