как проверить перенос данных из внешней базы данных (оракула) в hdfs

Question

У меня есть работа, которая переносит данные из оракула в hdfs.Мне нужен эффективный способ проверки этого переноса, чтобы убедиться, что все строки переданы правильно.

Answer 1

Простой способ, который я чувствую, состоит в том, чтобы взять количество строк из таблицы Source Oracle

 select count(*) from tablename;

Вы получите количество строк из таблицы Oracle

С точки зрения HDFS

Подсчет общего количества строк (строк) в файле HDFS:

 hadoop fs -cat /yourdestinationhdfsfiles/* | wc -l

Стратегия проверки данных

Создание таблицы Hive (Temp), аналогичной таблице Oracle структура

Возьмите несколько записей из целевого файла HDFS, загрузите данные в таблицу HIVE и проверьте, совпадают ли записи и структура. [Ручной процесс проверки]

Примечание.быть сделано для полных данных также при условии, что у вас есть достаточно места для хранения и блока обработки.

Надеюсь, это поможет !!! ..