S3-read: обработать файл безопасным способом

Question

У меня есть случай использования, когда файл S3 выступает в качестве входных данных для пакетного приложения (написанный на Java), а размер файла достиг 10 ГБ.

В настоящее время этот файл S3 сохраняется локально, а затем обрабатывается,Проблема с этим подходом заключается в том, что файл содержит данные клиента, поэтому он не защищен в локальной файловой системе (в основном он не придерживается правила безопасности шифрования в состоянии покоя).

Мы искали несколько подходов

1. шифрование диска: оно может замедлить всю пакетную обработку, поскольку генерирует временные файлы.Выполняется POC.
2. Строковые пакетные входные файлы построчно и выполняется обработка в памяти: выполняется много сетевых вызовов и замедляется приложение
3. шифрует поля клиента во входных файлах:неосуществимо, так как файлы иногда создаются вручную.

Может иметь инструмент для шифрования файла, созданного вручную, но затем он не может быть масштабирован для всех клиентов, требует изменения в SOP.

Есть лиЛюбой другой безопасный способ обработки больших красных файлов данных, поступающих с S3?

Answer 1

Тома Amazon EBS могут быть зашифрованы, что означает, что данные зашифрованы в состоянии покоя . Он не замедляет доступ к диску и прозрачен для работы экземпляра Amazon EC2.

См .: Шифрование Amazon EBS - Amazon Elastic Compute Cloud

Затем вы должны убедиться, что минимальные люди имеют возможность войти в экземпляр EC2 . Если они могут войти в систему, они могут читать локальные файлы и, скорее всего, использовать назначенную роль IAM для чтения исходных данных из Amazon S3.

Кроме того, проверяет ваши разрешения IAM , поскольку любой, у кого есть разрешение на создание моментальных снимков / AMI томов EBS, может скопировать свое содержимое для доступа к данным. Лучший совет - дать людям только доступ, необходимый для их роли, и ничего более.