Мы используем Amazon Redshift в качестве хранилища данных.Но так как он находится внутри закрытой сети, нам нужно специально занести в белый список IP-адреса, с которых вы хотите получить доступ к Redshift.
Мы используем API заданий Databricks для отправки искровых заданий.При каждой отправке задания создается новый кластер, а затем он прекращает работу после завершения задания.Это означает, что для запуска задания создаются новые точечные экземпляры EC2 по требованию (с другим IP-адресом).
Итак, если я не внесу в белый список постоянно меняющиеся IP-адреса экземпляра EC2, я не смог бы получить доступ к Redshift из кластера Databricks.
Есть ли в Databricks какая-либо утилита / скрипт для внесения в белый список IP-адресов экземпляров EC2, созданных по требованию для Spark Cluster?