Как развернуть TensorFlow Serving с использованием Docker и DigitalOcean Spaces - PullRequest
Новая
       74

Как развернуть TensorFlow Serving с использованием Docker и DigitalOcean Spaces

0 голосов
/ 04 февраля 2020

Как настроить TensorFlow Serving для использования файлов, хранящихся в DigitalOcean Spaces?

Важно, чтобы решение:

  • обеспечивало доступ к конфигурации и файлы моделей
  • обеспечивают неопубликованный c доступ к данным

Я настроил корзину с именем your_bucket_name в пространствах DigitalOcean со следующей структурой: 

- your_bucket_name
  - config
    - batching_parameters.txt
    - monitoring_config.txt
    - models.config
  - models
    - model_1
      - version_1.1
        - variables
          - variables.data-00000-of-00001
          - variables.index
        - saved_model.pb
   - model_2
       - ...
   - model_3
       - ...

1 Ответ

0 голосов
/ 04 февраля 2020

TensorFlow Serving поддерживает интеграцию с корзинами Amazon S3. Так как DigitalOcean Spaces предоставляют аналогичный интерфейс, можно легко запускать сервировки TensorFlow с DigitalOcean Spaces через Docker, переключая интерфейс S3.

Чтобы сделать его проще для других, я подробно изложил все, что вам нужно знать о запуске сервера ниже:

1. Переменные среды (необязательно)

Определите следующие переменные в вашей среде: 

AWS_ACCESS_KEY_ID=...
AWS_SECRET_ACCESS_KEY=...

(Это не является строго необходимым, но определение этих переменных делает ваше развертывание более безопасным, чем жесткое кодирование значений в например, ваш docker -компонентный файл.)

Значения этих переменных вы получаете из DigitalOcean Spaces как часть конфигурации вашего облачного хранилища.

2. Сервер

Вы можете запустить сервер, используя Docker или docker -compose:

2.1. Использование Docker

Вот минимальная команда docker для запуска сервера из командной строки: 

docker run \
    -p 8500:8500 \
    -p 8501:8501 \
    -e AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID} \
    -e AWS_REGION=nyc3 \
    -e AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY} \
    -e S3_ENDPOINT=nyc3.digitaloceanspaces.com \
    tensorflow/serving \
    --model_config_file=s3://your_bucket_name/config/models.config

(Для запуска этого на Windows может потребоваться удалить backtick -newlines сделать эту однострочную команду.)

2.2. Использование docker -compose

Эта docker -compose конфигурация немного более детальна в том, как сконфигурирован сервер, но вы также можете использовать эти опции с простой командой docker. 

version: "3"
services:
  tensorflow-servings:
    image: tensorflow/serving:latest
    ports:
      - 8500:8500
      - 8501:8501
    command:
      - --batching_parameters_file=s3://your_bucket_name/config/batching_parameters.txt
      - --enable_batching=true
      - --model_config_file=s3://your_bucket_name/config/only_toxic.config
      - --model_config_file_poll_wait_seconds=300
      - --monitoring_config_file=s3://your_bucket_name/config/monitoring_config.txt
      - --rest_api_timeout_in_ms=30000
    environment:
      - AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID}
      - AWS_LOG_LEVEL=3
      - AWS_REGION=nyc3
      - AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY}
      - S3_ENDPOINT=nyc3.digitaloceanspaces.com

Уровни журналов здесь уменьшены, потому что есть много сообщений «Соединение разорвано» и «Нет тела ответа», которые не являются фактическими ошибками. (См. GitHub Issue: AWS lib является многословным при использовании S3 для получения дополнительной информации.)

3. Файлы конфигурации:

Файлы конфигурации выглядят так:

3.1. models.config 

model_config_list {
  config {
    name: 'model_1'
    base_path: 's3://your_bucket_name/models/model_1/'
      model_platform: "tensorflow"
  },
  config {
    ...
  },
  config {
    ...
  }
}

3.2. batching_parameters.txt (необязательно)

Этот файл определяет рекомендации по обслуживанию TensorFlow; управление процессом пакетной обработки на сервере. 

    max_batch_size { value: 1024 }
    batch_timeout_micros { value: 100 }
    num_batch_threads { value: 4 }
    pad_variable_length_inputs: true

3.3. Monitoring_config.txt (Необязательно)

Этот файл предоставляет различные статистические данные через конечную точку, указанную ниже. 

prometheus_config {
  enable: true,
  path: "/monitoring/metrics"
}```
...