Я работаю в строго регулируемой и безопасной финансовой организации. Мы используем AWS EMR 5.20. Мы используем временные / постоянные кластеры EMR. Из-за ограничений безопасности / архитектуры мы не можем держать весь диапазон портов открытым, поскольку объекты панели обзора архитектуры . Обычно мы используем один главный и основной узлы (без узла задачи). У нас есть одна группа безопасности для главного и одна группа безопасности для подчиненного (основного). AWS не предоставляет нам указанные c порты, которые мы должны держать открытыми. Главный и подчиненный узлы должны взаимодействовать друг с другом, поэтому мы сохранили все порты «TCP» (0-65K), UDP-порты (0-65K), все ICMP (0-65K) плюс порт 8443 (TCP) - для связи главного узла с диспетчером кластера. Каждая запись в группе безопасности для главного и подчиненного содержит источник для главного / подчиненного, так что ведущий и ведомый могут обмениваться данными. Я попытался открыть еще несколько портов для мастера в соответствии с this
Это все для нас, как мы видим, у открытого источника было oop портов, у cloudera было oop ports et c .. и попробуйте подготовить кластер EMR. Но мы терпим неудачу. Когда главный узел EMR не запускается, мы даже не можем использовать журналы потока VP C, чтобы увидеть, какой трафик c отклонен. Кто-то еще также использует такую конфигурацию? Как вы можете достичь такого рода ограничений?