Apache Beam Python выдавал 503 ошибки в облачном потоке данных - почему?

Question

При работе графика Apache Beam Python я вижу периодически возникающие ошибки 503 в облачном потоке данных.Почему это происходит?

Ошибка не обеспечивает достаточного контекста для расшифровки источника проблемы.

File "/usr/local/lib/python2.7/dist-packages/apache_beam/io/gcp/gcsio.py", line 553, in finish
    raise self._upload_thread.last_error  # pylint: disable=raising-bad-type
HttpError: HttpError accessing <https://www.googleapis.com/resumable/upload/storage/v1/b/******/o?uploadType=resumable&alt=json&upload_id=AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA&name=temp%2Fbeamapp-cloude-0908010623-413022.1536368783.413249%2F5154533467808153215%2Fdax-tmp-2018-09-07_18_07_37-7050531770796171347-S01-0-406ba749ef65e1f5%2F-shard--try-15bbe0de7ff515c5-endshard.json>: response: <{'status': '410', 'content-length': '177', 'vary': 'Origin, X-Origin', 'server': 'UploadServer', 'x-guploader-uploadid': 'AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA', 'date': 'Sat, 08 Sep 2018 01:12:32 GMT', 'content-type': 'application/json; charset=UTF-8'}>, content <{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}
>

Answer 1

Доступ к сообщениям HttpError

Глядя на Коды ошибок облачного хранилища , ниже приводится объяснение кодов ошибок, которые появились в вашем сообщении:

410 - Ушел (). Вы попытались использовать возобновляемый сеанс загрузки, который больше недоступно. Если сообщенный код состояния не был успешным и вы все еще хотите загрузить файл, вы должны начать новый сеанс.

503 - Служба недоступна (backendError). Мы столкнулись с внутренним ошибка. Пожалуйста, попробуйте снова, используя усеченный экспоненциальный откат.

В соответствии с этим, проблема, которая должна исчезнуть после попытки позже, но если нет, вы можете попробовать усеченный механизм экспоненциального отката.

Ваша проблема уже решена?