Я создал электронную таблицу, содержащую все имена каталогов и временные метки в каталоге hadoop. Я вручную копировал записи каждого дня в свою электронную таблицу. Теперь руководство хочет, чтобы я создал отчет на основе этих данных и произвел автоматическое обновление.
Мой первоначальный подход заключался в написании сценария, который считывает файловую систему в текстовый файл, создает таблицу Hive для этого текстового файла и считывает содержимое таблицы в Tableau. Я понимаю, что Tableau может получать текстовые файлы, но, насколько мне известно, только локально для моего ноутбука.
Имеет ли этот подход смысл? Я слишком усложняю это?
Кто-нибудь может предоставить более рациональное решение?
Спасибо!