Я тестирую hadoop и hive, и я хочу использовать их в анализе журнала.
Здесь у меня есть вопрос, могу ли я написать / добавить журнал в сжатый файл, который находится в hdfs?
Наша система генерирует множество файлов журналов каждый день, я могу сжимать эти журналы каждый час, и они помещают их в hdfs.
Но что, если я хочу записывать логи в файлы, которые уже были в hdfs и были сжаты?
Разве эти файлы не были сжаты, тогда эта работа кажется легкой, но как записать или добавить журналы в сжатый журнал?
Могу ли я это сделать?
Может кто-нибудь дать мне несколько советов или привести примеры?
Большое спасибо!