Обнаружение виртуализированного URL-адреса для http-приложения, развернутого в YARN с весенним облачным потоком данных

Question

Я успешно развернул поток в YARN, созданный с использованием SCDF, который выглядит примерно так: stream create --name httpTest--definition "http --server.port=9001|....

Мне удалось масштабировать исходные приложения http с помощью clustermodify для нескольких экземпляров. Записывает ли SCDF виртуализированный / статический / прокси-URL-адрес где-то в реестре YARN ( см. Здесь ) так, чтобы приложения верхнего уровня могли связываться с ним? Как другое приложение, находящееся за пределами Yarn, может отправлять сообщения на вышеупомянутый http-сервер с портом 9001, который слишком масштабирован по горизонтали?

Если я разверну веб-приложение с пружинной загрузкой в ​​Docker-Swarm и масштабирую его, Docker Swarm удастся распределить нагрузку между всеми приложениями. Как это происходит в случае YARN & SCDF в частности?

Когда я вызываю следующее в оболочке потока данных - это тоже не получается ..

http post --target http://localhost:9001 --data empty

Сообщение об ошибке:

Failed to access http endpoint http://localhost:9001

Все другие варианты замены localhost на hostname / ipaddress тоже не работают?

Answer 1

Я отвечаю на свой вопрос.

Альтернативный дизайн - используйте назначение Kafka вместо источника HTTP, поскольку URL-адрес источника HTTP не гарантированно будет уникальным после развертывания в контейнерах пряжи (которые могут быть опубликованы в приложении-потребителе). В качестве альтернативы нам нужно будет исправить приложение OOTB HTTP Source, чтобы подключиться (во время загрузки) к реализации сервера Eureka в Spring и использовать шлюз в качестве интеллектуального прокси-сервера.