Spark Streaming на основе таблицы улья - PullRequest
0 голосов
/ 24 сентября 2019

У меня есть две таблицы A и B.

Мне нужно загружать данные из таблицы A каждый час в таблицу B посредством потоковой передачи искры.

Таблица A обновляется каждый час.

Прием должен происходить таким образом, чтобы, если запись с тем же идентификатором поступала в таблицу B, предыдущая удалялась и вставлялась новая запись, чтобы не было дублирования данных.

Если появляются новые записи, их необходимо вставить непосредственно в таблицу B.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...