Мне нужно прочитать данные JMS activemq и отправить их в hadoop, чтобы их можно было открыть через REST API.<ЭТО ДОЛЖНО БЫСТРЕТЬ>
у нас есть простой Apache Hadoop кластер с 3 узлами данных
Ниже представлен подход, учитывающий производительность ....
МЫ ПЫТАЕМСЯ ИЗБЕЖАТЬ ВИЧ из-за проблем с производительностью.
извлекать данные из activemq и помещать их в HDFS (так как отправка данных в куст занимает много времени)
позже используйте spark sql для некоторой обработки и сохраните ее в другом месте HDFS (эти данные должны быть предоставлены через REST API) .. или я должен сохранить таблицу в кеше так,что я могу быть выставлен через REST API или как это?Что произойдет, если я запустлю его снова, будут ли эти сохраненные данные перезаписаны / заменены?пожалуйста, предложите.