Есть ли пределы сохранения результата на S3 от sagemaker Processing? - PullRequest
Новая
       4

Есть ли пределы сохранения результата на S3 от sagemaker Processing?

1 голос
/ 13 апреля 2020

※ Я использовал перевод Google, если у вас есть какие-либо вопросы, дайте мне знать!

Я пытаюсь запустить скрипт python с огромными 4 данными, используя обработку sagemaker. И моя текущая ситуация такова:

  • может запустить этот скрипт с 3 данными
  • не может запустить сценарий только с 1 данными (самые большие, такая же структура с другими)
  • что касается всех 4 данных, сценарий завершен (поэтому я подозревал эту ошибку в S3, ie. При копировании результата Sagemaker в S3)

Ошибка I получил это InternalServerError. 

Traceback (most recent call last):
  File "sagemaker_train_and_predict.py", line 56, in <module>
    outputs=outputs
  File "{xxx}/sagemaker_constructor.py", line 39, in run
    outputs=outputs
  File "{masked}/.pyenv/versions/3.6.8/lib/python3.6/site-packages/sagemaker/processing.py", line 408, in run
    self.latest_job.wait(logs=logs)
  File "{masked}/.pyenv/versions/3.6.8/lib/python3.6/site-packages/sagemaker/processing.py", line 723, in wait
    self.sagemaker_session.logs_for_processing_job(self.job_name, wait=True)
  File "{masked}/.pyenv/versions/3.6.8/lib/python3.6/site-packages/sagemaker/session.py", line 3111, in logs_for_processing_job
    self._check_job_status(job_name, description, "ProcessingJobStatus")
  File "{masked}/.pyenv/versions/3.6.8/lib/python3.6/site-packages/sagemaker/session.py", line 2615, in _check_job_status
    actual_status=status,
sagemaker.exceptions.UnexpectedStatusException: Error for Processing job sagemaker-vm-train-and-predict-2020-04-12-04-15-40-655: Failed. Reason: InternalServerError: We encountered an internal error.  Please try again.

1 Ответ

0 голосов
/ 14 апреля 2020

Может возникнуть проблема с передачей выходных данных на S3, если выходные данные генерируются с высокой скоростью, а размер слишком велик.

Вы можете 1) попытаться немного замедлить запись вывода или 2) вызвать S3 из вашего контейнера алгоритма, чтобы загрузить вывод напрямую, используя клиент boto (https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html).

...