AWS Data Pipeline не использует все возможности записи DynamoDB

Question

Я экспортировал и преобразовал 340 миллионов строк из DynamoDB в S3. Сейчас я пытаюсь импортировать их обратно в DynamoDB с помощью конвейера данных.

У меня настроено выделение ресурсов записи в таблицу на 5600 единиц емкости, и я не могу заставить конвейер использовать более 1000-1200 из них (действительно трудно сказать истинное число из-за гранулярности метрического графа).

Я пытался увеличить количество подчиненных узлов, а также размер экземпляра для каждого подчиненного узла, но, похоже, ничего не изменилось.

У кого-нибудь есть мысли?

Answer 1

Проблема в том, что в таблице был вторичный индекс.Независимо от выбранного уровня подготовки записи и количества компьютеров в EMR, я не мог получить больше 1000 или около того.У меня был установлен уровень 7000, поэтому 1000 неприемлемо.

Как только я удалил вторичный индекс, подготовка к записи достигла максимума.