Я пытаюсь решить проблему ниже, используя oozie. Любые предложения о решении приветствуются.
Основа: я разработал код для импорта данных из базы данных SQL с помощью (oozie - Sqoop import), произвел некоторые преобразования и загрузил данные в Hive. Теперь мне нужно проверить счетчик между SQL и Hive для согласования
Есть ли способ, которым я могу сделать это, используя oozie.
Я думаю о выполнении sql-запроса с использованием "sqoop eval" и hive-запроса с использованием "hive action" из oozie, но мне интересно, как мы можем вернуть результаты в oozie / перехватить результаты после выполнения запроса.
Как только результаты станут доступны, мне нужно будет выполнить сверку в последующем действии