Передача имени схемы из переменной для создания фрейма данных в Pyspark - PullRequest
0 голосов
/ 13 февраля 2020

Попытка написать функцию для создания информационного кадра, в котором имя схемы передается в качестве аргумента функции.

def extract_file(self, file_location={}):
    for (key, value) in file_location.items():
        print(key, " :: ", value)
        schema_name = 'schema_' + key
        # read the file and create a data frame
        df = self.spark.read \
            .format('csv') \
            .options(header='true', delimiter='|') \
            .schema(schema_name) \
            .load(exec('"{}"'.format(value)))

Приведенный выше код не работает, так как ожидает аргумент схемы без кавычек. Как передать аргумент из переменной, хранящей строку без кавычек?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...