Итак, моя лучевая работа сегодня закончилась этим предупреждением:
/ usr / local / lib / python2.7 / dist-packages / apache_beam / runners / dataflow / dataflow_runner.py: 800:BeamDeprecationWarning: параметры устарели с момента первой стабильной версии.Ссылки на .options не будут поддерживаться
Так что, как я понял, вместо этого:
self.options = {'project': self.project_name,
'job_name': self.job_name,
}
Мне придется перейти к этому:
self.options = PipelineOptions()
google_cloud_options = self.options.view_as(GoogleCloudOptions)
google_cloud_options.project = self.project_name
google_cloud_options.job_name = self.job_name
Но есть проблема, многие опции больше не доступны, например, максимальное число рабочих, местоположение файла установки ...
Я попытался просмотреть его документацию снова, но не смог найти то, чтозамены для этих пропущенных полей.
Если я просто добавлю в новый GoogleCloudOptions какой-либо зарегистрированный ярлык, он будет жаловаться:
AttributeError: у объекта 'GoogleCloudOptions' нет атрибута 'max_num_workers'
Так кто-нибудь знает, как заменить эти поля?
Спасибо.