Мы находимся в процессе миграции нашей управляемой вручную производственной среды на Terraform и в процессе заново создадим все ресурсы, необходимые для этой среды.Одним из таких ресурсов является учетная запись хранения.
У нас есть учетная запись хранения, содержащая более 1500 таблиц, и каждая таблица состоит из миллионов записей с отметкой времени, прикрепленной к каждой из этих записей.Во время миграции мы в основном заинтересованы в копировании записей за последние 30 дней.
Мне было интересно, есть ли инструмент, который мог бы помочь нам выполнить эту операцию копирования наиболее эффективно и который занимает меньше времени.
Мы изучили Azcopy, но он позволяет нам делать только одну копию, а копирование миллиардов записей может занять несколько дней, и, как я узнал в Интернете, Azcopy не поддерживает запросы только на копирование дней с определенной отметки времени.
Было бы полезно получить представление о различных инструментах и методах, которые мы могли бы использовать для достижения этой цели.