установка tensflow_transform и apache_beam в Datalab - PullRequest
Новая
       63

установка tensflow_transform и apache_beam в Datalab

0 голосов
/ 28 августа 2018

Я перебираю этот пример из курсов Coursera в облаке Google, и хотя они работали до нескольких недель назад, я больше не могу устанавливать tf.transform или apache_beam на Datalab.

https://github.com/GoogleCloudPlatform/training-data-analyst/blob/master/courses/machine_learning/feateng/tftransform.ipynb

https://github.com/GoogleCloudPlatform/training-data-analyst/blob/master/courses/machine_learning/deepdive/06_structured/4_preproc_tft.ipynb

При установке tenorflow_transform я получаю следующие ошибки: 

%bash
pip install --upgrade --force tensorflow_transform==0.6.0

витая 18.7.0 требует PyHamcrest> = 1.9.0, который не установлен. datalab 1.1.3 имеет требование шесть == 1.10.0, но у вас будет шесть 1.11.0, что несовместимо. gapic-google-cloud-pubsub-v1 0.15.4 имеет требование oauth2client <4.0dev,> = 2.0.0, но у вас будет oauth2client 4.1.2, который несовместим. Proto-google-cloud-pubsub-v1 0.15.4 имеет требование oauth2client <4.0dev,> = 2.0.0, но у вас будет oauth2client 4.1.2, который несовместим. apache-airflow 1.9.0 имеет требование отбеливания == 2.1.2, но у вас будет отбеливатель 1.5.0, который несовместим. apache-airflow 1.9.0 имеет требование funcsigs == 1.0.0, но у вас будет funcsigs 1.0.2, что несовместимо. google-cloud-monitor 0.28.0 имеет требование google-cloud-core <0.29dev,> = 0.28.0, но у вас будет google-cloud-core 0.25.0, что несовместимо. proto-google-cloud-datastore-v1 0.90.4 имеет требование oauth2client <4.0dev,> = 2.0.0, но у вас будет oauth2client 4.1.2, который несовместим. pandas-gbq 0.3.0 имеет требование google-cloud-bigquery> = 0.28.0, но у вас будет google-cloud-bigquery 0.25.0, что несовместимо. googledatastore 7.0.1 имеет требование httplib2 <0.10,> = 0.9.1, но у вас будет httplib2 0.11.3, что несовместимо. googledatastore 7.0.1 имеет требование oauth2client <4.0.0,> = 2.0.1, но у вас будет oauth2client 4.1.2, который несовместим. Невозможно удалить укроп. Это установленный дистрибутивный проект, и поэтому мы не можем точно определить, какие файлы принадлежат ему, что приведет только к частичному удалению.

Ответы [ 2 ]

0 голосов
/ 08 сентября 2018

Версия тензорного потока на моем экземпляре Datalab была 1.4. Мне пришлось добавить эту одну строку кода, чтобы обновить тензорный поток до 1.10.1 

%bash
pip install --upgrade --force-reinstall pip==10.0.1
pip install tensorflow==1.10.1
pip install tensorflow_transform

мое окружение: 

apache-airflow==1.9.0
apache-beam==2.6.0
tensorflow==1.10.1
tensorflow-metadata==0.9.0
tensorflow-tensorboard==0.4.0rc3
tensorflow-transform==0.8.0
0 голосов
/ 29 августа 2018

Текущая версия Datalab использует TensorFlow 1.8, поэтому, пожалуйста, измените ячейку ноутбука на: 

%bash
pip uninstall -y google-cloud-dataflow
pip install --upgrade --force tensorflow_transform==0.8.0 apache-beam[gcp]

Я обновил и зарегистрировался в двух записных книжках, указанных выше.

Другая проблема может заключаться в том, что вы используете Python 2. Datalab по умолчанию теперь использует Python 3, и ваша установка pip (см. Выше) происходит в Python 3, даже если ядро ​​- Python 2, потому что %% bash открывает новую оболочку, в которой Конда активации Python 2 не произошло.

Чтобы убедиться, что установка pip происходит в Python 2, измените установку pip apache-beam [gcp] следующим образом: 

%%bash
source activate py2env
conda install -y dill pytz  # do this for all the distutils complaints 
pip uninstall -y google-cloud-dataflow
pip install --upgrade --force tensorflow_transform==0.8.0 apache-beam[gcp]
...