Подготовка и развёртывание моделей у клиента

Реестр моделей — шаблон · Пример подключений · План подготовки зависимостей — шаблон.

Процедура применяется для моделей, которые размещаются в инфраструктуре клиента. Сама платформа при этом может находиться у клиента или в облаке; сетевые связи определяются выбранной схемой размещения.

ИИ-инженер работает с DevOps и владельцем сервиса инференса клиента; РП клиента организует выделение ресурсов и доступов. Конкретные модели, сервис, параметры и команды определяются совместимостью с платформой и агентами и документацией выбранного решения.

1. Выбрать модели и определить требования

ИИ-инженер с владельцем инференса выбирает совместимые модель и сервис основной text-to-text и зрения. Одна модель может закрывать оба назначения. Сверить необходимые режимы инструментов, контекст, входные форматы и API с требованиями выбранной версии платформы.

Решить, нужна ли отдельная лёгкая модель; её функции может выполнять основная. TTS и STT нужны только для выбранных видеосценариев. По всем пяти назначениям записать использование, замену основной моделью или обоснованное неиспользование.

По документации выбранных моделей и сервиса определить CPU/GPU, память, диски, сеть, runtime и ограничения входов и параллелизма. При недостатке сведений запросить владельца сервиса или вендора; характеристики ресурсов и команды не назначаются по догадке.

Результат: назначения, модели, версии, размещение, источники документации и открытые вопросы в реестре моделей; требования и необходимые работы — в плане подготовки зависимостей.

2. Подготовить ресурсы и доставку моделей

DevOps и владелец инференса по запросу РП клиента обеспечивают вычислительные ресурсы, хранилища, адреса, аккаунты и сетевые связи по требованиям выбранного сервиса.

Подготовить доставку сервиса инференса, весов моделей и зависимостей в локальный контур. Для закрытой сети определить допустимый способ доставки. Установить требуемые драйверы и runtime по документации выбранного решения.

Результат: проверенные предпосылки установки, доступный комплект и остаток работ в плане подготовки зависимостей. Отсутствие предпосылок блокирует соответствующую установку, но не независимые работы по платформе.

3. Развернуть и настроить модели

Владелец сервиса с ИИ-инженером устанавливает выбранные модели по их документации. Настроить endpoints, API-идентификаторы, авторизацию, ограничения контекста и параллелизма, доступ к диагностическим журналам.

Результат: версии, адреса, параметры, владелец и способ авторизации в реестре моделей. Для секретов сохраняется только ссылка на защищённое хранилище.

4. Проверить локальный инференс

Проверить содержательный текстовый ответ и необходимые режимы инструментов. Отдельно проверить запрос с изображением: ответ должен учитывать его содержание, даже если текст и зрение обслуживает одна модель. Для чтения больших текстов проверить характерный документ через назначенную модель — лёгкую или основную.

Проверки дополнительных моделей выполняются при их использовании. Зафиксировать версии, выполненные запросы, результаты, ограничения и доступность диагностики в реестре моделей.

Результат: работающие сервисы и сведения для подключения к платформе. Проверка запросов из фактического контура агентов и запуск агента через платформу выполняются по процедуре подключения моделей; она применима и к облачному проекту на платформе. До такой проверки готовность сервиса и готовность подключения платформы отмечаются отдельно.