Я хочу запустить работу в Google ml-engine. Сначала я проверил, что пакет работает правильно локально, и следовал руководству здесь , чтобы отправить его в облако. Работа успешно отправлена, но я получаю:
error: Error -3 while decompressing: invalid distance too far back
Я видел, что был вопрос о подобной ошибке там , но она не была исправлена.
Я также увидел, что этот тип ошибок обычно исправляется путем обновления pip и setuptools, однако все мои локальные версии обновлены, и я не вижу способа обновить эти инструменты в облаке самостоятельно.
Сейчас я пытаюсь запустить простую демонстрационную работу, в которой я ввожу имя и распечатываю его в консоли.
Платформа: Windows 10
Python: 2,7
Аргументы командной строки:
gcloud ml-engine jobs submit training hello_world \
--package-path=mypackage/trainer \
--module-name=trainer.demo --region=europe-west1 \
--staging-bucket=gs://bucket_name \
--scale-tier=BASIC \
-- \
--name=Bob
Моя файловая структура:
mypackage\
|_____ trainer\
|_____ __init__.py
|_____ demo.py
|_____ setup.py
Мой файл setup.py:
from setuptools import setup, find_packages
# Setup parameters for Google Cloud ML Engine
setup(name='trainer',
version='0.1',
packages=find_packages(),
description='Example to run a script on gcloud ml-engine',
install_requires=['keras',
'h5py'],
zip_safe=False)
Еще один сбивающий с толку аспект заключается в том, что одна и та же точная работа иногда работала. Затем я хочу попробовать что-то новое и получить ошибку распаковки, но когда я возвращаюсь к прежнему рабочему коду, я все равно получаю ту же ошибку распаковки.
Вот трассировка этой ошибки:
INFO 2019-01-15 11:05:48 +0100 service Проверка правильности работы ...
ИНФОРМАЦИЯ 2019-01-15 11:05:49 +0100 service Запрос на создание задания успешно подтвержден.
ИНФОРМАЦИЯ 2019-01-15 11:05:49 +0100 сервис Задание hello_world поставлено в очередь.
ИНФОРМАЦИЯ 2019-01-15 11:05:49 +0100 служба Ожидание предоставления работы.
ИНФОРМАЦИЯ 2019-01-15 11:05:53 +0100 service Ожидание начала программы обучения.
INFO 2019-01-15 11:06:41 +0100 master-replica-0 Выполнение задачи с аргументами: --cluster = {"master": ["127.0.0.1:2222"]} --task = {"type" . "," args ": [" --name \ u003dBob "]," region ":" europe-west1 "," run_on_raw_vm ": true}
ИНФОРМАЦИЯ 2019-01-15 11:06:48 +0100 master-replica-0 Запуск модуля trainer.demo.
INFO 2019-01-15 11:06:48 +0100 master-replica-0 Скачивание пакета: gs: //bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.gt
ИНФОРМАЦИЯ 2019-01-15 11:06:48 +0100 master-replica-0 Рабочая команда: gsutil -q cp gs: //bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccder.tar.g.tr. 1044 *
INFO 2019-01-15 11:06:50 +0100 master-replica-0 Установка пакета: gs: //bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.gt
INFO 2019-01-15 11:06:50 +0100 master-replica-0 Рабочая команда: pip install --user --upgrade --force-reinstall --no-deps trainer-0.1.tar.gz
INFO 2019-01-15 11:07:03 +0100 Обработка master-replica-0 ./trainer-0.1.tar.gz
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0
Исключение:
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0
Трассировка (последний последний вызов):
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/cli /base_command.py ", строка 143, в основном
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 status = self.run (параметры, аргументы)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/commands /install.py ", строка 318, в прогоне
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 resolver.resolve (require_set)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/ usr /local / lib / python2.7 / dist-packages / pip-18.1-py2.7.egg / pip / _internal / resol.py ", строка 102, в разрешении
ОШИБКА 2019-01-15 11:07:03+0100 master-replica-0 self._resolve_one (require_set, req)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages / pip-18.1-py2.7.egg / pip / _internal / resol.py ", строка 256, в _resolve_one
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 abstract_dist =self._get_abstract_dist_for (req_to_install)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg / pip / _internal / resol.py ", строка 209, в _get_abstract_dist_for
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 self.require_hashes
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg / pip / _internal / operations / prepare.py ", строка 283, в prepare_linked_requirement
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 progress_bar = self.progress_bar
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal / download.py ", строка 823, в unpack_url
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 unpack_file_url (ссылка, местоположение, download_dir, хэши = хэши)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/download.py", строка 728, в unpack_file_url
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 unpack_file (from_path, location, content_type, link)
ОШИБКА 2019-01-15 11:07: 03 +0100 Файл master-replica-0 "/usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/utils/misc.py", строка 585,в unpack_file
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 tarfile.is_tarфайл (имя файла) или
ОШИБКА 2019-01-15 11:07:03 +0100 файл master-replica-0 "/usr/lib/python2.7/tarfile.py", строка 2608, в файле is_tarfile
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 t = open (name)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/ usr /lib / python2.7 / tarfile.py ", строка 1666, в открытом
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 return func (name," r ", fileobj, **kwargs)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/lib/python2.7/tarfile.py", строка 1738, в gzopen
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 t = cls.taropen (имя, режим, fileobj, ** kwargs)
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 Файл "/usr/lib/python2.7/tarfile.py", строка 1714, в taropen
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 return cls (имя, режим, fileobj, ** kwargs)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/lib/python2.7/tarfile.py", строка 1580, в init
ОШИБКА 2019-01-1511:07:03 +0100 мастер-реплика-0 self.firstmember = self.next ()
ОШИБКА 2019-01-15 11:07:03 +0100 файл мастер-реплика-0 "/ usr / lib / python2.7 / tarfile.py ", строка 2342, в следующем
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 tarinfo = self.tarinfo.fromtarfile (self)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/lib/python2.7/tarfile.py", строка 1244, в файле fromtarfile
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 buf = tarfile.fileobj.read (BLOCKSIZE)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/lib/python2.7/gzip.py", строка 268, для чтения
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 self._read (readsize)
ОШИБКА 2019-01-15 11:07:03 +0100 Файл master-replica-0 "/usr/lib/python2.7/gzip.py", строка 319, в _read
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0 uncompress = self.decompress.decompress (buf)
ОШИБКА 2019-01-15 11:07:03 +0100 master-replica-0
ошибка: ошибка -3 при распаковке: недопустимое расстояние слишком далеко назад
ПРЕДУПРЕЖДЕНИЕ 2019-01-15 11:07:03 +0100
master-replica-0 Не удалось установить пакет при попытке 1/2:
Команда '[' pip ',' install ',' --user ',' --upgrade ',' --force-reinstall ',' --no-deps ', u'trainer-0.1.tar.gz'] 'вернул ненулевой статус выхода 2
ПРЕДУПРЕЖДЕНИЕ 2019-01-15 11:07:03 +0100 master-replica-0
Повторная попытка ...
[...]
ИНФОРМАЦИЯ 2019-01-15 11:07:04 +0100 master-replica-0 Модуль завершен; убираться.
ИНФОРМАЦИЯ 2019-01-15 11:07:04 +0100 master-replica-0 Очистка завершена.
ОШИБКА 2019-01-15 11:07:05 +0100 service Хозяин реплики 0 вышел с ненулевым состоянием 2.