Продлить период буферизации потока пожарных шлангов.

Question

Могу ли я как-то увеличить продолжительность интервала буферизации потока пожарного шланга до 900 секунд?Я работаю с небольшими файлами размером ~ 100 КБ после 15 минут потоковой передачи на s3.Мне нужен увеличенный интервал буферизации или другой способ объединения 4 файлов каждый час, и как лучше всего это сделать?

Я не хочу загружать эти файлы, а затем выполнять слияние из-за большого количества потоков пожарных шлангов, поэтомубудет рассмотрено только прямое решение в AWS.

Я прочитал так много вещей, связанных с этой проблемой, и не смог найти никакого полезного ответа.

Answer 1

К сожалению, 900 с (15 минут) - это жесткое ограничение количества времени, которое Kinesis будет ожидать для буферизации.

Однако, если ваши данные перемещаются так медленно, вы можете самостоятельно справиться с ежечасным слиянием.

Подход к этому должен состоять в том, чтобы использовать лямбда-функцию, которая была запланирована для вызова каждый час, перечислять файлы в целевых сегментах, читать их, объединять их, записывать их в «объединенные» области /добавьте префикс, а затем удалите объединенные файлы.

В качестве альтернативы, вы можете использовать лямбда-триггер в баке пожарного шланга S3 при каждом записи файла.Этот триггер считывает все файлы в этом сегменте и объединяет их.Преимущество состоит в том, что вы объединяете свои сегменты параллельно, и вам не придется ждать час для объединения вашего файла.

(Обратите внимание, что S3 не согласован на высоких скоростях записи или при выводе больших чиселфайлов, так что это не очень хорошее решение, если скорость ваших данных возрастает до уровня, когда вы пишете несколько файлов в минуту.)