Запустите Python Script на AWS и перенесите 5 ГБ файлов в EC2

Question

Я абсолютный новичок в AWS: я создал ключ и экземпляр, для сценария python, который я хочу запустить в среде EC2, нужно l oop через около 80 000 заявок, чтобы разбить предложения на части в их, и используйте эти предложения для некоторого обучения без присмотра.

Это может быть дубликатом; но я не могу найти способ скопировать эти документы в среду EC2 и запустить скрипт python в EC2, я также не очень уверен в том, как я могу использовать boto3. Я использую Ma c OS. Я просто ищу способ ускорить процесс. Огромное спасибо! Я всегда благодарен !!!

Answer 1

Вот что я недавно попробовал:

1. Создайте корзину и оставьте корзину доступной для публикации c.
2. Создайте роль и добавьте опцию HTTP.
3. Загрузите все файлы и убедитесь, что файлы доступны для публики c.
4. Получите HTTP-ссылку файла S3.
5. Соедините экземпляр с помощью putty.
6. wget копирует файл в экземпляр EC2.

Если ваши файлы в формате zip, достаточно один раз скопировать все файлы в экземпляр.

Answer 2

Вот один из способов, который может помочь:

• создать простую роль IAM, которая разрешает S3 доступ к корзине с вашими файлами
• применить эту роль IAM к работающему экземпляру EC2 ( или запустите новый экземпляр с ролью IAM)
• установите awscli на экземпляр EC2
• S SH на экземпляр и синхронизируйте c файлы S3 с экземпляром EC2, используя aws s3 sync
• запустите ваше приложение

Я предполагаю, что вы запустили EC2 с достаточным пространством на диске для файлов.