У меня есть конвейер данных, который выглядит примерно так: Kinesis Firehose -> S3
Когда я использую сканер клея для создания таблицы Athena поверх этих данных, таблица читает только некоторые из реальных строк.Данные в файле выглядят следующим образом:
{row1}{row2}{row3}{row4}\n
{row5}{row6}{row7}
Если я изменю данные, чтобы после каждой строки в новой строке таблицы Athena данные читались правильно.Мне интересно, как другие люди решили эту проблему.
Решение, которое я рассматриваю, состоит в том, чтобы написать лямбда-функцию python, которая заботится о \n новом разделителе строк для строк.Есть ли лучший способ сделать это?