Как проверить недостающие записи в Hive после помещения данных в Oracle

Question

Хотел узнать, как проверить отсутствующие записи в Hive, когда данные загружаются из Oracle из-за какой-то проблемы.

Предположим:

Oracle № записей: 2000
Hive no.of records: 1990

Как проверить 10 отсутствующих записей в Hive.

Answer 1

Возможно, ваша исходная таблица в oracle была обновлена.Таким образом, вы можете выполнить пошаговый импорт для Sqoop.

1. Какой тип данных у вас есть?
2. Есть ли у вас поле даты в Oracle?

Если да, то вы можете group by year и count(*) как в Hive, так и в Oracle.Вы увидите год, который не соответствует, затем используйте этот год и наберите count(*) для каждого из месяцев, выполнив group by month.

Answer 2

Экспорт из Oracle в файл CSV с сортировкой по первичному ключу.То же самое с ВИЧ.И небольшая разность UNIX.В итоге Sqoop не может пропустить записи, так что, вероятно, что-то не так в вашей интеграции.