Я хочу запланировать конвейер, который передает данные MySql в Google Bigquery, но полные данные добавляются к старой таблице в BQ, я хочу, чтобы добавлялись только добавочные данные ...
Вам нужна возможность «обновить, если есть» схему, которая в данный момент недоступна в плагине BQ.Мы работаем над обновлением плагина, чтобы иметь возможность его поддерживать (открыл JIRA https://issues.cask.co/browse/CDAP-15298).. В качестве альтернативы, вы можете записывать его в отдельную таблицу при каждом запуске, а затем использовать «слияние» для обновления первичной таблицы. Открыл JIRAдобавить плагин слияния действий, который позволяет объединить таблицу (https://issues.cask.co/browse/CDAP-15297)
Можно ли рассчитывать разницу для импорта каждый раз на основе столбца в ваших данных?