Лучший способ прочитать logi c из JSON файла и применить спецификации c logi c с помощью Spark scala - PullRequest
Новая
       59

Лучший способ прочитать logi c из JSON файла и применить спецификации c logi c с помощью Spark scala

0 голосов
/ 19 июня 2020

У меня есть начальный фрейм данных, который создается при чтении файла JSON. Теперь у меня есть config, как показано ниже: 

{
"sourceField":"id",
"transformLogic":"where id>=10"
"targetField":"patientId"
}

Итак, я прочитал этот файл конфигурации, взял первое значение поля «transformLogic» и с помощью искры SQL создал запрос и выполнил его для исходного кадра данных JSON. Однако меня это не устраивает, потому что строка transformLogic жестко запрограммирована мной и должна быть динамической c. Это что-то вроде чтения файла конфигурации, применения спецификаций c logi c к sourceField, и это должно быть отражено в целевом поле в преобразованном фрейме данных. Как я могу сделать его динамическим c, который использовал бы sourceField и targetField

Мне нужны некоторые предложения по реализации этого подхода. Я могу позаботиться о кодировании. Надеюсь, я достаточно ясен, чтобы объяснить свою проблему.

...