NVIDIA PAIR: локальный маршрутизатор AI-инференса

Наличие PAIR на машине не означает, что движок тоже будет работать. PAIR сам по себе запускается на любой поддерживаемой машине с Windows, Linux или macOS. Каждый движок предъявляет собственные требования к операционной системе, GPU и драйверам, а для загрузки каждой модели нужно достаточно памяти. То, будет ли конкретный движок с конкретной моделью работать на конкретной машине — вопрос взаимодействия этого движка и этой машины, поэтому перед тем как считать узел способным обслуживать модель, ознакомьтесь с документацией самого движка. Узел становится кандидатом для обработки запроса лишь тогда, когда на нём действительно запущен совместимый движок; при этом PAIR отдаёт предпочтение узлам, на которых модель уже загружена.

Скачайте готовую сборку и используйте настольное приложение — именно этот путь мы рекомендуем, и именно он описывается в данном руководстве. Сборка из исходников и терминальный интерфейс существуют по веским причинам — для тех, кто хочет изменить PAIR, и для машин без рабочего стола — но ни то ни другое не является обычным способом начать работу. Эти варианты описаны в Сборка и запуск PAIR из исходников и Терминальный интерфейс.

Удаление PAIR и удаление ваших данных — это отдельные шаги; по умолчанию данные сохраняются.

Windows. Удалите через «Приложения и компоненты» или запись в меню «Пуск». Деинсталлятор остановит PAIR, удалит его правила брандмауэра и спросит, нужно ли удалить данные. Откажитесь — и они останутся; согласитесь — и они будут удалены.

Linux. sudo apt remove nvpair удаляет приложение, оставляя данные. Для удаления данных используйте sudo apt purge nvpair. Если нужно уточнить имя установленного пакета, выполните dpkg -l | grep -i pair.

macOS. Запустите деинсталлятор, поставляемый внутри пакета приложения. Он остановит PAIR, удалит правила брандмауэра, отменит регистрацию привилегированного вспомогательного процесса и затем удалит само приложение:

Добавьте --purge, чтобы также удалить данные. Если просто перетащить PAIR в корзину, привилегированный вспомогательный процесс останется зарегистрированным — поэтому используйте деинсталлятор.

Под «данными» подразумеваются настройки, журналы, идентификатор кластера и сертификаты, а также любые движки, установленные PAIR за вас. Веса моделей не затрагиваются — они хранятся в собственном хранилище движка, например в ~/.ollama, поэтому удаление PAIR не удаляет скачанные вами модели. Удалять модели нужно через сам движок или путём удаления его директории.

Чтобы очистить данные без удаления приложения, воспользуйтесь Settings → Service → Reset app data. Это удалит тот же набор — настройки, журналы, идентификатор кластера и сертификаты, а также установленные PAIR движки — и перезапустит приложение, как будто оно только что установлено. Библиотеки моделей при этом также не затрагиваются. Это самый быстрый способ начать с чистого листа после сломанного кластера или неудачной установки движка.

Если данная машина входит в кластер, не забудьте также разобраться с членством — иначе остальные узлы будут продолжать считать её участником. Есть два варианта:

Второй вариант работает и постфактум, так что если вы забыли покинуть кластер заранее, ситуацию можно исправить.

Если вы только начинаете работу с PAIR, чтение в приведённом порядке позволит вам быстрее войти в курс дела. Каждый раздел предполагает знакомство с предыдущими.

Справочники по компонентам — для тех, кто уже знает, что ищет:

Список изменений в каждом выпуске смотрите на странице релизов.

У нас много идей о том, куда развивать PAIR, но никаких жёстких обязательств — какие из них и когда будут реализованы. Если у вас есть мысли о направлении продукта, что-то, что сделало бы его полезнее для вас, рабочий процесс, который пока не поддерживается, или сценарий использования, который мы не рассмотрели — мы хотим об этом услышать. Откройте задачу (issue) и начните разговор.

Маршрутизация — наиболее очевидный пример. Сейчас PAIR поставляется с единственной политикой планирования, которая сочетает очередь задач с грубым сглаженным сигналом загрузки GPU. Она не учитывает модель GPU, доступную память, «прогретость» модели или стоимость запроса — что делает её более подходящей для однородных машин, чем для сильно разнородного кластера. Сделать это умнее, а вероятно, и дать вам возможность выбирать политику — это то, чего мы хотим достичь, и именно ваши данные о том, какие из этих сигналов важны на вашем железе, помогут нам это сформировать.

Обратная связь от людей, запускающих PAIR на собственном оборудовании, ценнее для нас, чем любые планы, написанные заранее.

Публичные каналы поддержки и их область охвата описаны в SUPPORT.md.

PAIR включает локальные HTTP-эндпоинты, обнаружение узлов в локальной сети, PIN-основанную начальную процедуру установления доверия и сетевое взаимодействие внутри кластера. Прочитайте SECURITY.md перед развёртыванием в ненадёжной или общей сети. Не сообщайте об уязвимостях в публичных задачах (issues).

Данный проект распространяется под лицензией Apache 2.0. Сведения о сторонних зависимостях содержатся в Third-Party Software Notices. Движки инференса, модели и другое программное обеспечение, используемое вместе с PAIR, могут иметь собственные условия лицензирования.