Python: Как обновить (перезаписать) таблицу Google BigQuery с помощью pandas dataframe

Question

У меня есть таблица в Google BigQuery (GBQ) с почти 3 миллионами записей (строк), которые были созданы на основе данных, поступающих из базы данных MySQL каждый день.Эти данные вставляются в таблицу GBQ с использованием фрейма данных Python pandas (.to_gbq()).

Каков оптимальный способ синхронизации изменений из MySQL в GBQ в этом направлении с python.

Answer 1

Несколько различных способов импорта данных из MySQL в BigQuery, которые могут удовлетворить ваши потребности, описаны в этой статье .Например, Репликация бинарника :

Этот подход (иногда называемый сбор данных изменений - CDC) использует binlog MySQL.В binlog MySQL хранится упорядоченный журнал каждой операции DELETE, INSERT и UPDATE, а также данных языка определения данных (DDL), которые были выполнены базой данных.После первоначального дампа текущего состояния базы данных MySQL изменения в бинлоге непрерывно передаются и загружаются в Google BigQuery.

Похоже, именно то, что вы ищете.