Задание SageMaker Train не создает каталог / opt / ml / input / data / training - PullRequest
Новая
       44

Задание SageMaker Train не создает каталог / opt / ml / input / data / training

0 голосов
/ 12 марта 2019

Я пытаюсь создать собственный алгоритм, следуя инструкциям, приведенным в этого руководства .

Когда я выполняю задание поезда, оно завершается с ошибкой Нет такого файла или каталога: '/opt/ml/input/data/training'.

Согласно документации, SageMaker должен создать эти документы и скопировать данные и артефакты во время выполнения. Но этого не происходит.

Пожалуйста, поделитесь своими мыслями по этому поводу.

Содержимое моего DockerFile, 

# Build an image that can do training and inference in SageMaker
 # This is a Python 2 image that uses the nginx, gunicorn, flask stack
 # for serving inferences in a stable way.

 FROM ubuntu:16.04

 MAINTAINER Amazon AI <sage-learner@amazon.com


 RUN apt-get -y update && apt-get install -y --no-install-recommends \
          wget \
          python \
          nginx \
          ca-certificates \
     && rm -rf /var/lib/apt/lists/*

 # Here we get all python packages.
 # There's substantial overlap between scipy and numpy that we eliminate by
 # linking them together. Likewise, pip leaves the install caches populated which uses
 # a significant amount of space. These optimizations save a fair amount of space in the
 # image, which reduces start up time. RUN wget https://bootstrap.pypa.io/get-pip.py && python get-pip.py && \
     pip install numpy==1.16.2 scipy==1.2.1 scikit-learn==0.20.2 pandas flask gevent gunicorn && \
         (cd /usr/local/lib/python2.7/dist-packages/scipy/.libs; rm *; ln ../../numpy/.libs/* .) && \
         rm -rf /root/.cache

 # Set some environment variables. PYTHONUNBUFFERED keeps Python from buffering our standard
 # output stream, which means that logs can be delivered to the user quickly. PYTHONDONTWRITEBYTECODE
 # keeps Python from writing the .pyc files which are unnecessary in this case. We also update
 # PATH so that the train and serve programs are found when the container is invoked.

 ENV PYTHONUNBUFFERED=TRUE ENV PYTHONDONTWRITEBYTECODE=TRUE ENV
 PATH="/opt/program:${PATH}"

 # Set up the program in the image COPY decision_trees /opt/program WORKDIR /opt/program

1 Ответ

1 голос
/ 14 марта 2019

Имя папки обучения зависит от InputDataConfig, который вы предоставляете в действии CreateTrainingJob: https://docs.aws.amazon.com/sagemaker/latest/dg/API_CreateTrainingJob.html#SageMaker-CreateTrainingJob-request-InputDataConfig

Если имя канала «xyz», в указанном месте будет создана папка с таким же именем. (/ opt / ml / input / data / xyz)

...