Возобновление параллельного сканирования с того места, где оно было прервано

Question

Я искал параллельное сканирование для DynamodB. Он имеет концепцию segments, с которой работает каждый поток.

Допустим, сканирование прервано, и у нас есть ключ последней оценки для каждого потока, есть надежный способ перезапустить сканирование сгде это остановилось.

Важнейший вопрос заключается в том, как определяются сегменты и одинаково ли они определяются при нескольких запусках параллельного сканирования? Похоже, не так много документации о том, как определяются сегменты.

Answer 1

У вас есть поток для каждого параллельного сканирования, которое вы делаете, если один из них завершается неудачей, просто повторите этот конкретный просмотр еще раз. Данные делятся в основном поровну на основе totalSe сегментов и идентификатор_сегмента.

Подробнее о том, как это работает https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Scan.html#Scan.ParallelScan

Рабочий пример есть в https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/ScanJavaDocumentAPI.html