Операции с хранилищем Google очень медленные при использовании ключа управляемого клиента шифрования

Question

Мы планируем перейти с управляемых ключей Google на наши собственные ключи (работающие с конфиденциальными медицинскими данными), но боремся с падением производительности при включении CMEK. Мы перемещаем много больших файлов вокруг хранилища в нашем приложении (файлы 5-200 ГБ), как с помощью Java Storage API, так и gsutil. Первый перестает работать даже с файлами размером 2 ГБ (тайм-аут, а когда тайм-ауты молча увеличиваются, файлы не копируются), а второй занимает примерно в 100 раз больше.

Есть понимание этого поведения?

Answer 1

При использовании CMEK вы фактически используете дополнительный уровень шифрования поверх ключей шифрования, управляемых Google, и не заменяет их . Что касается gsutil, если ваш процесс перемещения включает в себя хеши объектов, то gsutil выполнит дополнительную операцию для каждого объекта , это может объяснить, почему перемещение больших файлов занимает намного больше времени, чем обычно.

В качестве обходного пути вы можете вместо этого использовать возобновляемые загрузки . Этот тип загрузки лучше всего работает с большими файлами, поскольку он включает в себя возможность загрузки файлов несколькими частями, что позволяет возобновить операцию, даже если поток данных прерван.