Мне нужно прочитать файл, а затем применить некоторые преобразования к каждому абзацу, разделенные строками '-' в scala с помощью spark. Идея состоит в том, чтобы применить функцию карты к каждому чанку
SELECT * FROM JOBS.NAME J WHERE J.ID = '1234' AND ...
больше материала
SELECT * FROM JOBS.NAME J, ГДЕ J.ID = '1234' И ...
больше вещей
Я хотел бы иметь подход, аналогичный это:
val queries = Source.fromFile(file).methodToSplitByLine('------------------').map(x=>x.replace("SELECT","")........
Спасибо!