Позволяет ли apache storm обрабатывать объемные файлы, хранящиеся в HDFS?
зная, что моя цель - получить ответ в реальном времени (секунды или миллисекунды),
или apache storm предназначен только для потоковой передачи !!
Спасибо
Storm предназначен только для потоковой передачи (в отличие от пакетной обработки), но если я вас правильно понимаю, вы хотите читать файлы из HDFS и обрабатывать их?
Модуль storm-hdfs имеет носик (источник данных топологии). Это может делать то, что вы хотите.
https://github.com/apache/storm/tree/master/external/storm-hdfs#hdfs-spout