У меня есть интересная проблема, у которой есть пара ограничений.
Мне нужно передать поток записей (миллионы) в зашифрованные файлы в S3, сгруппированные по дням. Если это облегчит задачу, допустим, у меня может быть 10-15 файлов для данного дня:
2-20-2020-1.txt содержит X записей
2-20-2020-2.txt содержит X записей, et c ,
Содержимое этих файлов является CSV-записями с разделителями новой строки. Дилемма состоит в том, что я пытаюсь объединить X ГБ данных в один зашифрованный файл перед сохранением в S3.
Я слышал о сливном разъеме S3. Я думаю, проблема в том, что он упаковывает X байтов из Kafka и записывает их в S3 в любом формате Avro / JSON, что недостаточно для этого варианта использования. Я хочу, чтобы содержимое файла на уровне приемника было, по сути, файлом данных CSV, зашифрованным моим указанным ключом симметрии c.