У меня есть папка, содержащая файлы SQL (для схемы) и заархивированные файлы (файлы CSV). Я хочу читать файлы с одной и той же схемой в один фрейм данных, и поэтому для разных схем разные фреймы данных в pyspark.
Структура моей папки выглядит примерно так:
abc.sql
abc1.gz
abc2.gz
def.sql
def1.gz
def2.gz
и так далее ...
как мне поступить