Создание образов Docker на GCP Cloud Build, извлекающих артефакты из ведра

Question

Я строю конвейер машинного обучения, и мне нужно взять несколько моделей, создать образ Docker, который включает их, а затем развернуть этот образ на машине в клиентской среде.

Предполагается, что выпечкаФайлы моделей в образ Docker облегчат развертывание?

Проблема в том, как это сделать?

1 - Загружать, распаковывать и копировать модели в Dockerfile. Как мне тогда обрабатывать учетные данные GCP?

2 - Каким-то образом я использую Cloud Build GCP для обработки загрузки, а затем просто копирую в Dockerfile? Проблема: в любом инструменте CI / CD, включая Cloud Build, нет примеров для этого.

Я даже не думал о версиях моделей в корзине, что подразумевало бы какую-то логикувыбрать модель для загрузки.

Возможен ли один из этих вариантов в Cloud Build?

Является ли вариант 1 более осуществимым, чем вариант 2?

Answer 1

По вашему описанию я могу думать о том, что вы постоянно загружаете в репозиторий модели (файлы) ML, которые вы хотите предоставить своим клиентам.

Вы можете Запускать сборки с проверками Github и Cloud Build или Запуск сборок на Github (которые очень похожи; разница в использовании инструментов). Оба варианта используют Триггеры сборки .

Используйте любой из этих параметров, чтобы пересоздать ваши изображения при любых изменениях в исходном репозитории или только тех изменениях, которые соответствуют определенным критериям. Благодаря этому мы расскажем о том, как это сделать, и о возможных проблемах с версионированием.

При настройке репозитория Github для этого вам будет предложено только идентифицировать себя. Как только они оба будут связаны, учетные данные не будут проблемой.

Я также думаю, что вы будете обновлять код, который вызывает ваши модели ML. Если вы считаете, что ваш код должен выполняться в Cloud Run (для тестирования перед отправкой, например, вашим клиентам), вы можете попробовать Непрерывное развертывание из git в Cloud Run , в котором также используются триггеры Cloud Build.

Вы можете объединить приведенную выше информацию с Quickstart для Docker и Cloud Build .

Подробнее о Как использование GitHub и Google Cloud Build упростит вашиПроцесс CI .

Сказав это, я думаю, что ваш вариант 2 - лучшая идея.