У меня есть существующий фреймворк, написанный на Java с Hadoop.Я буду отправлять файлы из системы hadoop и обрабатывать их в Datastage через удаленный MQ и отправлять xmls в IBM MQ, который находится на нашем сервере мэйнфреймов и который будет использоваться нашими последующими приложениями.Сейчас мы полностью работаем над тем, чтобы исключить использование Datastage и попытаться обработать файлы из hadoop напрямую в IBM MQ на мэйнфрейме.В основном это пакетный процесс с огромными данными.
Мой вопрос: можем ли мы разработать решение с использованием Kafka?Или любой традиционный обмен сообщениями, как JMS.Пожалуйста, предложите подходящее решение для этого.