который лучше BigqueryIO.write () или bigquery.insertAll () метод для потока данных

Question

Я занимаюсь разработкой Java-кода для чтения записей из GCS и вставки в таблицы BQ, что является лучшим методом BigqueryIO.write () или bigquery.insertAll () с точки зрения затрат и производительности.

Answer 1

BigQueryIO предпочтительнее, поскольку он является частью Beam, и поэтому конвейер понимает записи, отправляемые в BigQuery.Это означает, что его можно отслеживать, повторные попытки встроены и т. Д. BigQueryIO.Write фактически позволяет вам выбирать, использовать ли загрузочное задание или потоковые вставки с помощью параметра withMethod.

Answer 2

Если вы используете Dataflow, ваш предпочтительный метод должен использовать BigQueryIO от Beam - этот класс обладает обширными знаниями о наилучшем способе обработки ошибок и различных методах отправки данных в BigQuery.

2 метода, которые вы можете выбрать с помощью BigQueryIO.Write :

FILE_LOADS :

Использование заданий загрузки BigQuery для вставкиданные.Записи сначала будут записаны в файлы, и эти файлы будут загружены в BigQuery.Это метод по умолчанию, когда ввод ограничен.Этот метод может быть выбран и для неограниченных входов, если частота запуска также установлена ​​с помощью BigQueryIO.Write.withTriggeringFrequency.BigQuery имеет суточные квоты на количество разрешенных заданий в день, поэтому будьте осторожны, чтобы не устанавливать частоту срабатывания слишком часто.Дополнительную информацию см. В разделе Загрузка данных из облачного хранилища.

STREAMING_INSERTS :

Используйте API для вставки потокового ввода BigQuery для вставки данных.Это обеспечивает путь вставки с наименьшей задержкой в ​​BigQuery и, следовательно, является методом по умолчанию, когда ввод неограничен.BigQuery приложит все усилия, чтобы избежать дублирования при использовании этого пути, однако есть некоторые сценарии, в которых BigQuery не может дать такую ​​гарантию.Запрос может быть запущен по выходной таблице, чтобы периодически очищать эти редкие дубликаты.Кроме того, использование метода вставки FILE_LOADS не гарантирует дублирование, хотя задержка для вставки в BigQuery будет намного выше.Для получения дополнительной информации см. Потоковая передача данных в BigQuery.