Ввод apache_beam.examples.wordcount

Question

Я пытался запустить пример луча Python-SDK, но у меня были проблемы с чтением ввода.

https://cwiki.apache.org/confluence/display/BEAM/Usage+Guide#UsageGuide-RunaPython-SDKPipeline

когда я использовал gs://dataflow-samples/shakespeare/kinglear.txt в качестве входа, ошибка была apache_beam.io.filesystem.BeamIOError: Match operation failed with exceptions {'gs://dataflow-samples/shakespeare/kinglear.txt': TypeError("__init__() got an unexpected keyword argument 'response_encoding'",)}

когда я использовал свой локальный файл, казалось, что он на самом деле не читал файл и ничего не выводил. Результат не включал 'has_job', который я не уверен, что это на самом деле означает https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/wordcount.py#L118.

Answer 1

Эта ошибка вызвана тем, что ваша версия google-apitools слишком старая. Вам нужно v0.5.23 или новее, чтобы избежать этой ошибки.

Beam Python имеет строгие требования к версии для зависимостей. Если вы используете Beam 2.11, вам нужно использовать google-apitools v0.5.26.