Задания ETL терпят неудачу из-за чрезмерного количества данных в большом запросе - PullRequest
0 голосов
/ 20 декабря 2018

Мы ведем транзакции и исторические таблицы в большом запросе.Если сегодняшняя таблица транзакций имеет 100 записей, те же 100 записей также будут отражены в истории.таблица транзакций - WRITE_TRUNCATE, а хронологическая таблица содержит добавленные данные каждого снимка дня.Историческая таблица сейчас достигла 1 миллиарда.Я вытягиваю данные, основанные на транснациональных и исторических таблицах, в другую таблицу, используя задание ETL.Задание ETL не выполняется при извлечении данных из хронологической таблицы.Есть ли решение для этого, я не хочу изменять работу ETL.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...