как прочитать файл hdfs с подстановочным знаком, используемым pyspark

Question

Есть несколько путей к паркетному файлу:

/ A / B / C = 'str1' / д = 'ул'

/ A / B / C = 'str2' / д = 'ул'

/ A / B / C = 'str3' / д = 'ул'

Я хочу прочитать файлы паркета следующим образом:

df = spark.read.parquet('/a/b/c='*'/d='str')

но это не работает с использованием "*" подстановочного знака. Как я могу это сделать? спасибо за помощь

Answer 1

Вам нужно экранировать одинарные кавычки:

df = spark.read.parquet('/a/b/c=\'*\'/d=\'str\'')

... или просто использовать двойные кавычки:

df = spark.read.parquet("/a/b/c='*'/d='str'")