Как подключиться и получить доступ к локальному серверу SFTP в AWS glue напрямую? - PullRequest
0 голосов
/ 13 июля 2020

Можно ли подключиться к локальному серверу SFTP непосредственно в задании на склейку AWS? В этом случае SFTP-сервер имеет ограниченный доступ (белый список IP-адресов)

Спасибо

1 Ответ

0 голосов
/ 17 июля 2020

AWS Glue изначально не поддерживает подключение к серверам SFTP. Возможно, вам придется использовать сторонние драйверы или jar-файлы для такой поддержки. Я добавил сюда ссылку в блоге, которая может удовлетворить ваши потребности.

Подключиться к данным SFTP в AWS Склеить задания с помощью JDB C

Альтернативный подход: Поскольку вы упомянули «SFTP-сервер имеет ограниченный доступ», если нет никаких проблем с безопасностью для копирования данных на S3, ниже будет возможное решение для файловых систем с исходным кодом.

Настройте планировщик или процесс для передачи этих файлов в корзины S3. Затем AWS Glue crawler может быть использован для создания метаданных и AWS Glue для ETL.

...