Как сравнить таблицы Hive и SQL - PullRequest
0 голосов
/ 01 марта 2019

Мы создали планировщик, который извлекает данные с сервера sql помещения и помещает их в HDFS.Теперь проблема в том, что нам нужно проверить, правильно ли переданы данные и соответствуют ли они локальным данным.Не могли бы вы помочь мне, как сравнить эти таблицы и их данные для правильности.Любая вещь поможет.Спасибо.

1 Ответ

0 голосов
/ 03 марта 2019

Вы можете использовать SQOOP, который также поддерживает проверку между таблицей Hive и базой данных с параметром --validate.

Подробнее см. В Руководство пользователя Sqoop - Проверка .

...