Я читаю данные из S3, хранящиеся в папках с отметкой времени -2020 / 07/11 / HH / MM / SS / file1. json. Я могу читать файлы и отправлять их в Kinesis, но мне нужно отправлять их в порядке меток времени (FIFO - Queue ??) и делать это с измеренной скоростью 33 КБ записей / сек c или 2 миллиона / мин. Текущий код находится в Python, но генерирует неупорядоченные данные. Есть мысли о том, как этого добиться? Измеренная скорость указывает на использование параллелизма / потоков для управления генерируемой скоростью. Нужно ли мне получать ограниченное количество папок (используя потоки) для одновременного извлечения данных из S3, а затем отправки их в очередь FIFO, а затем потребителя, чтобы прочитать их из Q и отправить в Kinesis?
TIA,