Облачное хранилище Google меняет класс хранилища без перезаписи

Question

Мы рассматриваем Google Nearline как решение для некоторых «теплых» требований к хранению.По сути, мы ожидаем, что к частям набора данных размером около 5 ПБ будет обращаться время от времени, но весь набор очень редко.весь набор данных (т. е. исправить все данные с новым полем).Эти алгоритмы будут работать в GCP (dataproc).Делая это на ближней линии, мы взрываем наш бюджет на 50 тыс. Раз.

Хотите знать, есть ли возможность изменить класс хранилища без наложения штрафа на полный поиск данных?Я вижу, что класс хранилища можно изменить через gsutil rewrite, но при этом будут получены данные.

Возможно, мы можем использовать правило жизненного цикла, чтобы изменить класс хранилища без извлечения?Или есть другой способ сделать это?

Answer 1

Операция gsutil rewrite в конечном итоге приведет к созданию новых объектов в классе хранения, что означает, что вы читаете объекты GCS в одном классе объектов хранения и пишете в другом (т.е. создаются новые объекты)

Эта операция относится к вашему проекту.