У меня есть приложение node js, использующее модуль presto-stream-reader npm для чтения данных, и я пытаюсь передать данные из Presto в поток для записи в указанный файл c S3 на основе содержимого каждого строка данных. Могу ли я направить данные одного потока чтения для записи в указанный c S3 на основе значения поля строки?
Для большей ясности
- получить поток чтения из Presto
- по полученным данным, открыть каждую строку, найти значение столбца
- на основе значения столбца из шага 2, записать в этот конкретный c файл в s3
В конце я пытаюсь разбить данные на основе столбца и записать в свой собственный файл в s3.
Как я могу сделать это в node js без всех данных в памяти или есть лучшее решение за это?