Проблема с расширением Tensorflow BigQuery как ExampleGen

Question

Я учусь создавать конвейер машинного обучения с помощью расширения TensorFlow, я выполнил руководство, и теперь мне нравится создавать свой собственный. Я получаю сообщение об ошибке при приеме данных непосредственно из BigQuery. Пожалуйста, сообщите заранее и спасибо!

КОД:

from tfx.components.example_gen.big_query_example_gen.component import BigQueryExampleGen

query = """
    SELECT * FROM `<project_id>.<database>.<table_name>`
"""
example_gen = BigQueryExampleGen(query=query)

ОШИБКА:

RuntimeError: Missing executing project information. Please use the --project command line option to specify it.

Answer 1

Из-за того, что параметры для инициализации клиента bigquery не поддерживаются даже после добавления учетных данных Google Applicaton, я решил использовать CsvExampleGen.

Answer 2

Я не уверен, что вы уже решили это, но чтобы использовать BigQuery в качестве входных данных, вы должны установить флаг --project-id следующим образом:

example_gen = components.BigQueryExampleGen(query='SELECT * except(day) FROM `gofind-datalake.data.temp_dist` where rand() < 2800/30713393 limit 3000')
context.run(example_gen, beam_pipeline_args=["--project=gofind-datalake"])