Доступ к визуализатору Luigi в AWS

Question

Я использовал визуализатор Luigi для конвейерной обработки моего кода на Python. Теперь я начал использовать экземпляр aws и хочу получить доступ к визуализатору со своего компьютера. Любые идеи о том, как я мог это сделать?

Answer 1

У нас была та же самая проблема сегодня на GCP, и мы решили ее с помощью следующих шагов:

1. установка правил брандмауэра для входящих TCP-соединений через порт, используемый службой (по умолчанию это 8082);
2. установка сервера apache2 на экземпляр с конфигурацией site.conf , которая разрешает входящие запросы на ip-of-instance: 8082 .

Вот и все. Надеюсь, это поможет.

Answer 2

Хороший вопрос, и я поражен, что не могу найти дубликат в StackOverflow.В целом вам нужно сделать две вещи:

• Убедитесь, что на веб-сервере luigi правильно размещен контент.Возможно, вы можете сделать это через site.conf, или вы можете сделать это через default-scheduler-host свойство *1006* luigi .Это соответствует второй точке @PierluigiPuce.
• Правильно выставьте и защитите свой экземпляр EC2.Это упражнение VPC ( см. Документы ), и это целая область для изучения, но вкратце вам необходимо настроить VPC таким образом, чтобы действительные запросы направлялись к экземпляру на правильном порту, а недопустимые запросызаблокированы.Это соответствует первому пункту @PierluigiPuce.

Ваше первичное рассмотрение заключается в том, допустимо ли, чтобы это было публичным.Возможно нет.Затем вы можете защитить экземпляр с помощью диапазонов IP-адресов, через VPN или даже через переадресацию порта SSH через промежуточный хост.

Полностью открыть его - самое простое и худшее решение.Помещение экземпляра в общедоступную подсеть и ограничение доступа на основе IP-адреса, вероятно, является вторым самым простым решением и может быть разумным компромиссом для вас.