Недавно я ужинал в компании нескольких технических директоров и руководителей инфраструктуры, и из разговора стало ясно: многие компании испытывают трудности с получением процессоров (CPU) в нынешних условиях и всё явственнее ощущают конец эпохи щедрых скидок от облачных провайдеров — скидок, которые уходят в прошлое на фоне стремительно растущего спроса, подпитываемого искусственным интеллектом.
«Кризис памяти», от которого страдают такие отрасли, как игровая индустрия, хорошо известен и подробно описан в части нехватки GPU. Однако теперь складывается впечатление, что компаниям, которым нужны CPU у облачных провайдеров, не легче.
Показательный признак меняющейся ситуации — исчезновение спотовых цен на CPU. Раньше клиенты могли платить до 90% меньше стандартной цены: провайдеры снижали стоимость простаивающих машин. Теперь этого нет. Похоже, спотовые цены исчезли именно потому, что дефицита спроса на CPU больше не существует — скорее наоборот.
Я был удивлён, но остальные участники ужина поддержали эту мысль: сегодня практически невозможно получить CPU на спотовых инстансах без давних связей с провайдерами. Резервировать конкретные конфигурации CPU теперь нужно за несколько месяцев, а провайдеры порой вовсе отказывают в резервировании — у них попросту нет нужного количества или нужного типа процессоров.
Даже крупные игроки с трудом резервируют CPU
Я обратился к Саймону Эскилдсену (Simon Eskildsen), CEO turbopuffer, с вопросом об их опыте доступности CPU в облаке — turbopuffer как продукт работает на CPU, а не на GPU. Компания использует AWS, GCP и Azure, поэтому я спросил, насколько просто сегодня получить CPU. Ответ Саймона:
«Получить CPU уже непросто. Обучение с подкреплением (Reinforcement Learning, RL) становится всё более значимой частью вычислительных нагрузок: RL требует огромного количества CPU. Лаборатории поглощают их в огромных объёмах. В процессе RL нужно обучать модели выполнять различные задачи — например, поиск, — а затем запускать на моделях программное обеспечение, что само по себе требует CPU.
Помимо RL, агенты выполняют самые разнообразные задачи общего назначения на CPU. Поэтому по мере того, как спрос смещается в сторону агентов общего назначения, растёт и спрос на CPU. Даже крупные компании сражаются друг с другом за право получить выделенные CPU-квоты. Я предполагаю, что прежде чем ситуация улучшится, она заметно ухудшится.»
Я смог подтвердить слова Саймона о трудностях крупных компаний: вице-президент по разработке одного крупного инференс-провайдера рассказал мне, что они исчерпали лимиты на покупку GPU- и CPU-мощностей у своих облачных провайдеров. Деньги у них есть, они готовы арендовать больше, согласны на самые длительные контракты — но провайдеры отвечают, что свободных ресурсов нет.
ИИ поглощает CPU
Кейтлин Лесс (Katelyn Lesse), руководитель платформенной инженерии Claude Platform, написала о причинах резкого роста спроса на CPU:
«За последние несколько лет спрос, подстёгнутый ИИ, взлетел до небес, и ряд компаний внезапно обнаружил, что им нужно несколько лет и десятки миллиардов долларов, чтобы нарастить достаточные мощности. В итоге мы столкнулись с тремя отдельными узкими местами в производственных мощностях, которые ИИ лишь усугубляет. На TSMC GPU конкурируют с CPU (а заодно с Apple, Qualcomm и Broadcom) за производственные линии. На SK Hynix, Samsung и Micron высокополосная память (High Bandwidth Memory, HBM) конкурирует с обычной DRAM за пластины.
В результате CPU оказались под давлением сразу с двух сторон. AMD не владеет собственными фабриками (semiconductor fabrication plants, фабами), поэтому её CPU должны выходить из ограниченной квоты TSMC. Intel фабрики имеет, но долго боролась с проблемами выхода годных изделий и теперь перераспределяет часть мощностей с настольных чипов на серверные. При этом CPU требуют DRAM, которая подорожала из-за переориентации производства памяти на HBM. Аналитики ожидают, что предложение CPU выйдет на комфортный уровень раньше, чем предложение памяти, — но это всё равно вопрос нескольких кварталов.»
Спрос, вызванный ИИ, действительно увеличивает нагрузку на CPU — это видно на графике от Uber, отражающем рост числа агентских запросов за последние шесть месяцев:
Девятикратный рост числа агентских запросов за шесть месяцев. Источник: Uber
Сегодня «агентские запросы» (agent requests) не только генерируют код — задача, требующая много GPU для инференса, — но и запускают инструменты, которые этот код компилируют, тестируют, прогоняют через линтеры. Всё это CPU-интенсивные операции. В таких компаниях, как Uber, Ramp и других, ИИ-агенты больше не работают на локальной машине разработчика, а запускаются на выделенных облачных инстансах. Соответственно, компании резервируют у своих провайдеров больше CPU под агентские нагрузки. Недавно мы рассматривали, как Ramp создал и запустил своего облачного агента Inspect.
Если коротко, проблема выглядит так:
-
ИИ-приложения потребляют всё больше CPU — благодаря агентам, которые запускают всё больше программного обеспечения. Раньше в ИИ-датацентрах соотношение CPU к GPU составляло 1:8. Сейчас оно приближается к 1:4, а может сократиться до 1:1.
-
Компании, способные производить больше CPU, заняты другим оборудованием. TSMC загружена производством GPU, которое, по всей видимости, прибыльнее CPU. CPU при этом нуждаются в DRAM, однако производители памяти (SK Hynix, Samsung, Micron) переориентировались на высокополосную память (HBM) — она выгоднее. Именно поэтому цены на память резко растут; даже крупнейшие технологические компании не могут купить нужный объём RAM — об этом мы уже писали.
-
Для получения CPU теперь необходимо планировать мощности за 12 месяцев вперёд. Кейтлин отмечает, что выполнение серверных заказов занимает около шести месяцев вместо прежних одной-двух недель, а цены выросли на 10–20%. Похоже, пришло время серьёзно заняться планированием мощностей. Кейтлин:
«Большинство из нас никогда не планировали CPU. Мы планировали базы данных, возможно — ускорители, если они были нужны, и масштабировались по требованию в пределах CPU-мощностей, сколько позволял бюджет. Но теперь вычисления общего назначения — это то, под что многим командам придётся брать обязательства заранее. А значит, стоит начать прогнозировать и планировать. Если вы работаете в масштабе, есть несколько направлений, которым стоит уделить внимание.»
-
Более эффективное использование существующих CPU — задача уже сегодняшнего дня. Нехватка CPU никуда не денется, а новые мощности могут появиться лишь спустя месяцы. Что делать, пока новых ресурсов нет? Один из вариантов — использовать имеющееся эффективнее! Сейчас самое время разобраться, какие сервисы нагружают CPU и действительно ли они должны это делать. Стоит также проверить сервисы с низкой утилизацией CPU: можно ли перевести их на меньшее количество узлов, высвободив мощности для тех, кто нуждается в них сильнее?
-
Лучший момент для резервирования дополнительных CPU-мощностей — прямо сейчас. По слухам, некоторые облачные регионы больше не принимают новых арендаторов — весь CPU-ресурс законтрактован, а переговоры в других регионах ведутся крайне тяжело. Также ходят разговоры о том, что клиенты уже сейчас платят за мощности, которые заработают в датацентрах лишь в декабре. Со стороны провайдеров это выглядит хищнически, однако спрос настолько высок, что именно так они, по всей видимости, расставляют приоритеты при распределении новых мощностей — попутно получая значительно более высокую прибыль, чем обычно.
Если у вашей компании динамичные нагрузки и вы раньше использовали спотовые инстансы, сейчас может быть самое время перейти на фиксированные мощности — пусть и более дорогие. Если вы ожидаете заметного роста, сделать это сейчас может означать сохранить возможность выбора у тех или иных провайдеров или в тех или иных регионах.
Похоже, эта проблема распространилась повсеместно как следствие массового внедрения ИИ. Есть дефицит GPU, дефицит памяти — и теперь нарастающий дефицит CPU. В конце прошлого года возник даже дефицит жёстких дисков. Пожалуй, единственный вычислительный ресурс, которого пока хватает, — это сетевое оборудование.