Использование beam.io.WriteToBigQuery и beam.io.BigQuerySource
Насколько велик очень большой набор данных, который apache-beam не может обработать без разделения?
Они упоминаются на официальном сайте:
Если вы используете Beam SDK для Python, у вас могут возникнуть проблемы с размером квот на импорт, если вы пишете очень большой набор данных source
, который действительносбивает с толку!У меня есть 100 000 строк данных в одной таблице BigQuery, и я не думаю, что это very large?
Но я сталкиваюсь с очень большой задержкой при чтении данных и повторной записи их в другую таблицу в BigQuery.