Меня немного смущает экосистема AWS EMR, и мне было интересно, какой инструмент я могу использовать для настройки приемника / экспорта данных на s3, где каждая "строка" представляет собой отдельный файл json.
Кажется, что существует множество инструментов для приема и обработки данных, например, Свинья, Улей, Афина, Искра и т. д. ... но как только он будет обработан, если я хочу экспортировать не один большой файл, а 1 миллион файлов на s3, по одному на строку, - есть ли хороший инструмент в наборе инструментов AWS? использовать? Смог бы AWS справиться с этим сценарием? Могу ли я просто использовать лямбду, или это может истечь?