Установка пакета pypi google-cloud-datastore в Google Cloud Composer завершается неудачно

Question

Я запускаю Airflow 1.10.6 в Google Cloud Composer с Python 3. Для запуска задания потока данных из среды composer мне нужно иметь пакет PyPi google-cloud-datastore. Когда я пытаюсь добавить этот пакет через интерфейс или облачную оболочку, сборка завершается неудачно. Возникает следующая ошибка:

Операция UPDATE в этой среде не удалась 1 час go со следующим сообщением об ошибке: Не удалось установить пакеты PyPI.

Если я проверьте журналы Google Build для Kubernetes Engine. Я вижу следующую ошибку:

I 2020-03-04T14: 36: 23.939075607Z [0mgoogle-cloud-datastore 1.11.0 имеет требование google-cloud -core <2.0dev,> = 1.0.3, но у вас есть google-cloud-core 0.29.1.

I 2020-03-04T14: 36: 23.939669242Z В google-cloud-datastore 1.11.0 есть требование google-api-core [grpc] <2.0.0dev,> = 1.14.0, но у вас есть Google -api-core 1.8.1.

Так что для google-cloud-datastore требуется google-cloud-core> = 1.0.3. Я пытался явно установить google-cloud-core на 1.0.3, но затем я получаю следующую ошибку:

I 2020-03-05T08: 13: 18.539300693Z [0mgoogle-cloud-logging 1.9 .1 имеет требование google-cloud-core <0.30dev,> = 0.29.0, но у вас есть google-cloud-core 1.0.3.

I 2020-03-05T08: 13: 18.539878367Z В google-cloud-bigtable 0.32.0 есть требование google-cloud-core <0.30dev,> = 0.29.0, но у вас есть google-cloud-core 1.0.3.

I 2020-03-05T08: 13: 18.540308937Z google-cloud-bigquery 1.8.1 имеет требование google-cloud-core <0.30dev,> = 0.29.0, но у вас есть google-cloud-core 1.0.3.

Таким образом, диапазоны версий, требуемые для пакетов, не перекрываются. Кто-нибудь знает, можно ли это исправить? Пожалуйста, дайте мне знать.

Answer 1

Если вам (или кому-либо еще, читающему это) необходимо использовать последнюю версию google-cloud-datastore (==1.11.0), я смог установить ее в своей среде (composer -1.9.1-airflow-1.10 .6) путем добавления последних версий следующих библиотек также в зависимости:

googleapis-common-protos==1.6.0
google-cloud-spanner==1.14.0
google-cloud-bigtable==1.2.1
google-cloud-logging==1.14.0
google-cloud-bigquery==1.22

Answer 2

Существует проблема совместимости с google-cloud-datastore в основном контейнере Composer, и последняя версия этого пакета не может быть установлена. Команда разработчиков продукта Composer подтвердила проблему и работает над ней.

Попытка установить более старую версию google-cloud-datastore может стать обходным решением до устранения причины root. Я пробовал с 1.7.4 версией и получил положительный результат:

Надеюсь, это поможет.