Я создал конвейер данных от Улья до Эласти c Поиск. Я упомянул это: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html. Я создал задание ooz ie, которое запускается и добавляет данные к поиску elasti c ежедневно, но каждый день должен обновляться поисковый индекс elasti c. Я хочу добавить только новые записи в поиске Elasti c при следующем запуске задания, которые были добавлены в таблицу Hive в течение дня. Некоторые из таблиц Hive, у которых есть поля даты, я могу определить для них, но для некоторых, у которых нет полей даты, я не могу. Как я могу этого достичь? Пожалуйста, дайте мне знать, если есть другой подход, использующий другие инструменты или технологии, которые могут мне помочь.