Миграция Git-репозиториев GitHub в Azure: как это сделано

Мона сидит на зелёном блоке рядом с блоком с иконкой обновления

За последний год, пока трафик Git рос в геометрической прогрессии, 99,99999% репозиториев GitHub начали существовать в двух местах одновременно: в наших собственных дата-центрах и в Azure. Оставшиеся репозитории входят в число самых нагруженных на платформе, и единственное, что их сдерживает, — это 25 миллисекунд задержки при передаче данных по сети.

В предыдущей публикации мы изложили два принципа нашей архитектуры хранения нового поколения:

  • минимизация координации;

  • разделение хранилища и вычислений.

В этой статье мы рассмотрим непосредственный переход от старой архитектуры к новой. Мы расскажем, как изменение механизма сериализации записей в кворуме (quorum) позволяет перенести самые загруженные репозитории в Azure, и как этот же шаг открывает путь к репликам, не хранящим никакого собственного постоянного состояния.

Как мы к этому пришли

Сроки и форма миграции были продиктованы агентным сдвигом (agentic shift): стремительно растущим трафиком, жёстким потолком мощности в наших дата-центрах и окружающем географическом регионе, а также физическими ограничениями цепочек поставок оборудования. В начале миграции оставшийся запас мощности со всеми возможными расширениями давал нам достаточно времени, чтобы мигрировать безопасно, но не настолько, чтобы делать это медленно.

Хотя у нас уже были готовы прототипы новых архитектурных подходов к масштабированию Git в облачной инфраструктуре, одновременно менять архитектуру хранилища и платформу размещения в условиях такого роста было слишком рискованно. Учитывая наш масштаб и критическую важность сервиса для сообщества, нам нужно было тщательно выстроить последовательность работ: сначала переместить данные, а затем развивать архитектуру уже на новом месте.

Операции Git относятся к сервисам первого уровня (Tier 0): это ключевая функция GitHub, от которой зависит практически всё остальное. Это означало, что сначала нужно было переместить данные, сервисы и все зависимости. Первая копия репозитория появилась в регионе Azure Central US в августе 2025 года. Сегодня большинство репозиториев имеют по две из пяти реплик в Azure, и Azure обслуживает около половины всего Git-трафика. На протяжении большей части этого времени Azure поглощал весь наш прирост, тогда как нагрузка на собственные дата-центры оставалась стабильной.

В процессе миграции трафик следует за данными. У большинства репозиториев пять реплик — для баланса между надёжностью, доступностью и масштабируемостью. Чтобы минимизировать задержку при чтении, Spokes использует приоритетную маршрутизацию (preferential routing) и направляет запросы к реплике в том же регионе и зоне доступности, откуда поступил запрос. По мере того как реплики перемещаются в Azure, доля трафика, который Azure способен обслуживать, растёт с каждой перенесённой репликой — вплоть до момента, когда прибывает последняя реплика и старый регион полностью перестаёт получать запросы. Каждый репозиторий проходит через этот процесс.

Ни одного забытого репозитория

Что же с оставшимися 0,00001% репозиториев?

В нашей текущей архитектуре репозиторий, размещённый более чем в одном регионе, имеет более низкий потолок пропускной способности записи. Кворум Spokes требует для фиксации записи только большинства голосов, однако перед тем как двигаться дальше, он ждёт ответа от каждой исправной реплики (вплоть до таймаута). Поэтому медленные реплики задерживают каждую запись вместо того, чтобы просто отставать. На практике это означает, что самая медленная исправная реплика задаёт задержку каждой записи, а поскольку каждая запись удерживает общую блокировку репозитория вплоть до её фиксации, она же задаёт и потолок пропускной способности. Когда реплика оказывается в целевом регионе Azure примерно в 1600 км от наших дата-центров, каждый сетевой обмен занимает около 25 мс, а запись требует нескольких таких обменов. Репозиторий, уже близкий к потолку пропускной способности, не может себе этого позволить при каждой сериализованной записи — он будет всё больше отставать с каждым новым push-запросом.

Именно здесь вступает в действие наш первый принцип — минимизация координации. Конкретнее: не нужно сериализовать то, что в этом не нуждается. Требования к согласованности (consistency) в Git применяются к каждой ссылке (reference) по отдельности. Как только сервер принял обновление ссылки, ни один клиент не должен видеть более старое значение — только это или более новое. Это справедливо вне зависимости от того, является ли обновление перемоткой вперёд (fast-forward), принудительным push-запросом (force push) или удалением. Но в большинстве случаев обновления разных ссылок не зависят друг от друга и могут применяться независимо.

Поэтому мы меняем область действия кворума: вместо репозитория целиком — отдельные ссылки.

Удержание блокировки всего репозитория на время всей операции обновления ссылок, включая сетевые обмены, превращает кворум в единую неупорядоченную очередь запросов, в которой одновременно выполняется только одна запись. Каждая запись в этой очереди занимает столько времени, сколько нужно самой медленной исправной реплике. По мере роста интенсивности записей растёт и очередь, и каждая последующая запись ждёт дольше предыдущей.

При сериализации на уровне отдельных ссылок ожидать друг друга вынуждены только те записи, которые конкурируют за одну и ту же ссылку. На практике большинство записей в репозиторий затрагивают разные ссылки — например, агенты и разработчики делают push в собственные ветки, — поэтому они больше не блокируют друг друга. Каждая запись по-прежнему испытывает межрегиональную задержку, однако записи в разные ссылки теперь могут выполняться одновременно. Это устраняет единственное узкое место для всего репозитория. Сравнивая оба подхода при одинаковой нагрузке бок о бок, можно наглядно увидеть, как накапливаются очереди и таймауты.

Эти изменения повышают потолок пропускной способности записи для репозитория примерно пропорционально числу ссылок, записываемых одновременно, и позволяют перенести в Azure последние оставшиеся репозитории. В ходе внутреннего тестирования с реалистичным трафиком записи в разные ссылки стабильно показывали пропускную способность в 3–4 раза выше при меньшей задержке.

Независимое масштабирование операций чтения

Большинство репозиториев имеют сильный перекос в сторону чтения: от 100 до 1000 операций чтения на каждую запись. Сегодня операции чтения и записи обращаются к одним и тем же репликам, конкурируя за одни и те же ресурсы, и не могут масштабироваться независимо.

Разделение хранилища и вычислений меняет эту ситуацию. Как только данные репозитория надёжно хранятся в Azure Blob Storage и обновляются с каждой входящей записью, мы можем начать отделять трафик чтения от кворума записи и независимо масштабировать вычислительные ресурсы для каждого из них. Например, операции чтения выиграли бы от значительно большего объёма оперативной памяти под кэш, чем мы выделяем им сегодня, — однако та же память нужна для сжатия данных (compaction). После разделения каждый компонент получает собственную конфигурацию.

Первый шаг — сделать объектное хранилище (object storage) членом кворума, но особым — мы называем его виртуальной репликой (virtual replica). Представляющий её вычислительный узел является нашим первым полностью эфемерным узлом. Он служит мостом к объектному хранилищу: принимает входящие записи потоком и не обслуживает операции чтения. Поскольку он является членом кворума, запись не считается подтверждённой до тех пор, пока данные не сохранены надёжно в объектном хранилище.

Это добавляет небольшую задержку к каждой записи, однако, точно так же как и в случае с межрегиональным обменом, сериализация на уровне ссылок не позволяет ей стать узким местом по пропускной способности. Виртуальная реплика записи также объединяет транзакции по непересекающимся ссылкам в единый набор сетевых операций ввода-вывода с объектным хранилищем. Благодаря этому загруженный репозиторий платит за один сетевой обмен при множестве параллельных записей вместо одного обмена на каждую запись. На данном этапе виртуальная реплика записи также берёт на себя сжатие данных, а реплики чтения наследуют уже сжатое состояние.

Когда виртуальная реплика записи введена в эксплуатацию, мы можем по требованию горизонтально масштабировать любое количество виртуальных реплик чтения (virtual read replicas) для конкретного репозитория. Каждая реплика чтения прогревает свой кэш из Azure Blob Storage и начинает обслуживать запросы на чтение, не вступая в кворум: объектное хранилище служит источником истины, а локальное состояние синхронизируется с ним в фоновом режиме.

Этот шаг открывает значительные возможности для масштабирования чтения. В ходе внутреннего тестирования наш распределённый нагрузочный стенд систематически упирался в потолки текущей архитектуры. При работе с виртуальными репликами чтения стенд первым достигал собственных ограничений. Вместе с тем этот шаг порождает ряд задач, которые решаются на последующих этапах:

  • Виртуальные реплики чтения начинают синхронизацию с объектным хранилищем в фоновом режиме, что делает их хорошо подходящими для одних типов нагрузок на чтение, но не для всех. Чтобы обслуживать все виды операций чтения, эту синхронизацию нужно перевести в онлайн-режим: получать только то состояние ссылок и те данные, которые изменились с момента последнего обновления реплики.

  • Хотя мы постепенно увеличили пропускную способность записи, перейдя на модель на уровне ссылок, кворум по-прежнему остаётся ограничивающим фактором для дальнейшего роста.

Как можно ещё сильнее повысить пропускную способность записи?

Что дальше

Сегодняшний GitHub построен на кворуме Spokes, и со временем Spokes превратился в нечто большее, чем просто координатор кворума. Это также интеллектуальный слой маршрутизации и балансировки нагрузки, унифицированный API, который внутренние клиенты используют для доступа к данным репозиториев и выполнения транзакций с ними на скорости свыше 100 миллиардов операций в сутки, а также набор фоновых систем, которые мы называем «sweepers» и которые управляют размещением репозиториев, их восстановлением и перераспределением между узлами хранения.

Подавляющее большинство того, что входит в состав сервиса Spokes, одинаково хорошо применимо как к новой архитектуре, так и к существующей. Но мы также понимаем: протокол фиксации, который привёл GitHub к миллиарду репозиториев, не выведет его к следующему миллиарду и далее.

Мы ещё не закончили. После выполнения описанных шагов следующим ограничением становится пропускная способность записи. Каждая запись по-прежнему ожидает ответа реплик, каждая из которых хранит полную копию репозитория, — хотя по факту лишь очень малая часть записи требует упорядочивания. Объекты Git неизменны (immutable) и именуются по своему содержимому, поэтому их можно сохранять без какого-либо согласования. Всё остальное невелико, и самое сложное — упорядочить его как можно быстрее, не перенося узкое место в другое место. На бумаге это одно дело, но реализовывать это под миллиардом репозиториев, в которые разработчики и агенты пишут круглосуточно, — совсем другое. Чтобы добраться до этой точки, пришлось переосмыслить и побочные эффекты второго порядка: где хранится постоянное состояние ссылок и как масштабируются сжатие данных и сборка мусора.

Агентный трафик не замедляется, и каждый из этих шагов даёт репозиториям больше запаса по мере его поступления — не дожидаясь финального состояния системы.

Следующий материал: на GitHub Universe и в заключительной публикации этой серии мы совершим экскурсию в это финальное состояние: что оно даёт для пропускной способности записи, какие задачи второго порядка нам пришлось решить на пути к нему и почему где-то в стеке всё равно остаётся (небольшая) группа консенсуса.

Благодарим Брайана Селензу за вклад в написание этой статьи.

Декоративный фон с зелёными кубами и кубом с логотипом GitHub

Внутри новой архитектуры хранилища Git на GitHub

Новая архитектура хранилища Git на GitHub спроектирована так, что тысячи агентов могут одновременно выполнять push в один репозиторий. Вот как это работает.

Утёнок Ducky внутри прозрачного куба в окружении зелёных геометрических блоков

Оставаясь вечнозелёными: как мы автоматизировали безопасный доступ и гигиену репозиториев в общей организации

Используйте встроенные возможности GitHub для проверки доступа внешних участников и архивирования устаревших репозиториев.

Мона парит над зелёными геометрическими блоками с логотипом GitHub

От 2500 запросов до 24: пересборка истории звёзд без их владельцев

Наш новый API истории звёзд репозитория теперь показывает тренды, не раскрывая личные данные пользователей и не требуя неограниченной работы с базой данных. Вот какие компромиссы мы при этом сделали.

© 2026 meganuke