У меня следующая проблема:
- Мне нужно перенести меньшее количество файлов (почти 1000000 за 3 часа) в один каталог (имена файлов добавляются с отметкой времени) В HDFS
Может кто-нибудь сказать, что FLUME - лучший выбор для этого сценария (kafka не подходит, так как он мне не нужен в реальном времени)
Пожалуйста, предложите.