Aetòs: IDP, который сэкономил $2,5 млн в год

Как мы изменили инженерную продуктивность, построив внутреннюю платформу для разработчиков (Internal Developer Platform, IDP), которая сегодня обрабатывает ~50 млн API-вызовов в сутки, управляет 14 000 виртуальных машин и обеспечивает более 80 релизов в год — и чему вы можете научиться на нашем опыте.

Прежде чем перейти к рассказу об Aetòs, хочу сделать одно уточнение: этот материал не о том, как выбрать «правильный» язык, фреймворк или инструментальный стек. Вы разберётесь с этим сами. Технологии — не самое сложное. Самое сложное — всё то, что вокруг них.

Большинство инженеров так долго живут с поломанными рабочими процессами и бесконечной ручной работой, что боль стала нормой. Изменить это — фундаментально культурная проблема, а не техническая. Никто не платит за вашу внутреннюю платформу и никто не обязан ею пользоваться. Принятие зарабатывается, а не насаждается.

Вы побеждаете только тогда, когда побеждают они. Этот текст — о том, как я прошёл этот путь вместе с Aetòs.

Апрель 2022 года. Проработав в VMware более десяти лет, я только что присоединился к команде Portworx компании Pure Storage. Я сидел перед ноутбуком и изучал список проблем с продуктивностью, который передал мне Раджан Ядав (Rajan Yadav), директор по разработке платформы.

Наша DevOps-команда последние несколько кварталов вручную координировала тестовую инфраструктуру, выслеживала нестабильные сбои и пыталась добиться стабильных результатов в постоянно усложняющейся матрице дистрибутивов Kubernetes, Linux-дистрибутивов и облачных провайдеров.

Проблема была не в людях — у нас работали блестящие инженеры, которые трудились в полную силу. Проблема в том, что мы переросли наши инструменты. Каждый релиз давался с трудом, как будто катишь камень в гору.

В тот вечер я начал набрасывать то, что впоследствии стало Aetòs (в переводе с греческого — «орёл»): платформой, которая должна была изменить не только то, как мы выпускаем программное обеспечение, но и то, как мы в целом думаем об инженерной эффективности.

Portworx работал как стартап с минимальным штатом — большинство инвестиций вполне обоснованно направлялось на функциональность, ориентированную на клиентов. Выделить отдельные ресурсы на внутреннюю платформу было нереально, поэтому мы договорились создавать первую версию параллельно с основной работой.

Это ограничение поставило нас перед выбором: ждать идеальных условий или начать с малого и доказать ценность платформы на деле.

Нам нужно было начать с малого, но сделать это так, чтобы система могла масштабироваться до любого уровня и фундамент был правильным.

Несколько человек из DevOps-команды выделили около 20% своего времени на создание первых компонентов Aetòs — и уже через три недели у нас работал первый микросервис: Aetòs Private Cloud.

Отсутствие выделенного бюджета обернулось неожиданным преимуществом. Оно заставило нас:

Никакого масштабного финансируемого проекта. Только стабильные, накапливающиеся победы.

Сегодня Aetòs — единственный оркестрационный слой для всех операций платформенной инженерии в Portworx. Главное — платформа вернула инженерам нечто бесценное: время — время для инноваций вместо координации.

Три года спустя небольшая DevOps-группа намеренно эволюционировала в команду платформенной инженерии (Platform Engineering), для которой Aetòs стал основным продуктом, который мы создаём и развиваем для остальных инженеров.

Благодаря тому что Aetòs берёт на себя тяжёлую работу, мы теперь управляем высокопроизводительной организацией платформенной инженерии с соотношением инженеров примерно 20:1. Один платформенный инженер эффективно поддерживает около двадцати продуктовых инженеров, не тормозя их работу — без этого IDP-фундамента такое было бы невозможно.

По задумке Aetòs может поддержать любой продукт с минимальной кастомизацией.

Aetòs держится на пяти ключевых столпах, каждый из которых закрывает критическую часть задачи повышения инженерной эффективности.

Сегодня Aetòs управляет 14 000+ виртуальных машин при примерно 700 развёртываниях в сутки и ежедневной ротации 3 000–4 000 ВМ. Мы эксплуатируем частные облака как на базе vSphere, так и на базе KubeVirt, и постепенно переводим новые рабочие нагрузки на модель KubeVirt + Portworx.

Сердце Aetòs — движок оркестрации пайплайнов. Он даёт инженерам сквозную видимость и возможность отлаживать прямо из браузера, и именно благодаря ему мы можем выпускать 80+ релизов в год.

EaaS (Environment as a Service) полностью изменила то, как инженеры думают о тестовых средах. То, что раньше занимало дни, теперь занимает минуты.

Мы поддерживаем каталог рецептов развёртывания под названием Starting States («начальные состояния»). Каждый шаблон аккумулирует годы накопленных знаний: точную конфигурацию, необходимую для конкретных сценариев в AWS, GCP, Azure, IBM, Oracle, а также в локальных средах vSphere или на bare-metal.

Если вы поставляете модули ядра, вам знакома эта боль: вселенная Linux-дистрибутивов и версий ядра непрерывно расширяется, а клиенты ожидают быстрой поддержки.

Для Portworx это вопрос критической важности.

Нельзя улучшить то, чего не видишь. Наши дашборды превратили решения «по ощущениям» в решения на основе данных.

Aetòs фундаментально изменил то, как мы создаём, тестируем и выпускаем программное обеспечение в Portworx. То, что начиналось как самодельный побочный проект, превратилось в комплексную платформу инженерной эффективности, которая сегодня охватывает каждый этап нашего цикла разработки.

Сегодня менее 35% нашего времени уходит на «поддержание огня» — против 76% в начале. С каждым кварталом всё больше инженерных ресурсов направляется на новые инициативы, а не на повторяющиеся операционные задачи.

Но за цифрами стоит культурный сдвиг. Речь идёт о том, чтобы:

По пути вы будете слышать «нет» — культурные изменения требуют времени. Вам не нужна большая команда или огромный бюджет, чтобы начать. Нужны ясное видение, дисциплина — решать одну проблему за раз — и терпение, пока доверие к платформе не окрепнет.

Вам не нужно воссоздавать Aetòs, чтобы получить пользу. Вот облегчённая дорожная карта, основанная на том, что сработало у нас.