Я пытаюсь работать с некоторыми довольно широкими файлами (более 860 столбцов), которые создаются ежедневно.Проблема в том, что ежедневные файлы НЕ содержат заголовков, вместо этого они находятся в другом файле.
В настоящее время я читаю эти файлы, используя PySpark для создания моих фреймов данных:
df = spark.read \
.format('csv') \
.option('delimiter','\t') \
.option('inferSchema', 'true') \
.load(path_to_data) \
.select('field_name') \
.show()
Этовызывает ошибки, так как 'field_name' не существует без заголовков!
Есть ли способ импортировать эти заголовки из другого файла?Я бы хотел избежать создания такого большого StructField, когда данные уже доступны.
Заранее спасибо!