Как прочитать файлы bz2 в dataframes, используя pyspark?

Question

Я могу прочитать файл json в фрейм данных в Pyspark, используя

spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.json("path to json file")

Однако, когда я пытаюсь прочитать bz2 (сжатый csv) в фрейм данных, он выдает ошибку.Я использую:

spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.load("path to bz2 file")

Не могли бы вы помочь исправить меня?