как проверить перенос данных из внешней базы данных (оракула) в hdfs - PullRequest
Новая
       40

как проверить перенос данных из внешней базы данных (оракула) в hdfs

0 голосов
/ 11 июня 2018

У меня есть работа, которая переносит данные из оракула в hdfs.Мне нужен эффективный способ проверки этого переноса, чтобы убедиться, что все строки переданы правильно.

1 Ответ

0 голосов
/ 11 июня 2018

Простой способ, который я чувствую, состоит в том, чтобы взять количество строк из таблицы Source Oracle 

 select count(*) from tablename;

Вы получите количество строк из таблицы Oracle

С точки зрения HDFS

Подсчет общего количества строк (строк) в файле HDFS: 

 hadoop fs -cat /yourdestinationhdfsfiles/* | wc -l

Стратегия проверки данных

Создание таблицы Hive (Temp), аналогичной таблице Oracle структура

Возьмите несколько записей из целевого файла HDFS, загрузите данные в таблицу HIVE и проверьте, совпадают ли записи и структура. [Ручной процесс проверки]

Примечание.быть сделано для полных данных также при условии, что у вас есть достаточно места для хранения и блока обработки.

Надеюсь, это поможет !!! ..

...