У меня есть начальный фрейм данных, который создается при чтении файла JSON. Теперь у меня есть config, как показано ниже:
{
"sourceField":"id",
"transformLogic":"where id>=10"
"targetField":"patientId"
}
Итак, я прочитал этот файл конфигурации, взял первое значение поля «transformLogic» и с помощью искры SQL создал запрос и выполнил его для исходного кадра данных JSON. Однако меня это не устраивает, потому что строка transformLogic жестко запрограммирована мной и должна быть динамической c. Это что-то вроде чтения файла конфигурации, применения спецификаций c logi c к sourceField, и это должно быть отражено в целевом поле в преобразованном фрейме данных. Как я могу сделать его динамическим c, который использовал бы sourceField и targetField
Мне нужны некоторые предложения по реализации этого подхода. Я могу позаботиться о кодировании. Надеюсь, я достаточно ясен, чтобы объяснить свою проблему.