AWS Autosyn c: перемещение данных с FTP-сервера на S3 - PullRequest
Новая
       51

AWS Autosyn c: перемещение данных с FTP-сервера на S3

0 голосов
/ 06 апреля 2020

У меня есть рабочий процесс, который перемещает 700 ГБ файлов с ftp-сервера на локальный сервер для обработки python сценариев.

Я хотел бы перенести этот процесс в AWS s3 корзину для обработки лямбда-данных.
Я видел AWS data-syn c как разумное решение по цене (0,0125 / ГБ) для переместить эти данные в корзину S3. но не с FTP-сайта.

у кого-нибудь есть предложения, как это сделать?

примечание: я посмотрел на filezilla pro, но нет способа автоматизировать этот процесс с помощью пакетной команды или сценариев.

1 Ответ

0 голосов
/ 08 апреля 2020

AWS Lambda не подходит для такой работы из-за динамических требований к памяти c и ненадежного времени ожидания между вашим FTP-сайтом и функцией Lambda.

Похоже, вы пытаетесь скопировать данные объемом 700 ГБ в S3 через какой-то сервис AWS. Если это правильное утверждение, пожалуйста, сделайте серьезные расчеты стоимости для следующего:

  1. Оценка S3 является функцией передачи данных о количестве и частоты поиска. Чтение записи 700 ГБ данных будет стоить значительно в месяц.

  2. Время выполнения лямбда-функции и память. Всякий раз, когда Lambda будет выполняться, он будет считывать файл во временную память var. Именно здесь вы получите высокую стоимость, поскольку стоимость функции Lambda зависит от объема используемой памяти.

Во-вторых, стоит упомянуть скорость соединения между FTP-сайтом и пограничным сервером Lambda, поскольку чем быстрее, тем быстрее вы исчерпаете свою бесплатную квоту для лямбда-запросов на 1 млн.

Я бы порекомендовал использовать скрипт Python / Ruby / PHP на FTP-сервере или локальном локальном компьютере и загружать файлы в корзины S3. Если вы идете с подходом, подумайте об архивировании данных в Glacier, чтобы сэкономить деньги.

Если вам нужен лямбда-код, пожалуйста, дайте мне знать, я буду рад поделиться с вами. Надеюсь, это поможет.

...