У меня есть секционированный файл (несколько файлов с одинаковым именем шаблона) в s3.В каждом файле есть несколько строк данных.Я хотел бы выполнить красное смещение для каждой строки из файла при замене параметров из строки файла.Мне нужно сделать это в AWS data pipelint Например, файл
val1,val2,val3
val4,val5,val6
val7,val8,val9
, поэтому я хотел бы выполнить
select * from <myTable> where f1 = :val1 and f2 = :val2 and f3 = :val3
select * from <myTable> where f1 = :val4 and f2 = :val5 and f3 = :val6
select * from <myTable> where f1 = :val7 and f2 = :val8 and f3 = :val9
, а также мне нужно сохранить результаты обратно в s3.
Есть идеи, как мне этого достичь?
Спасибо