У меня есть csv-файл, заархивированный в формате bz2, как и у unix / linux, есть ли у нас какая-либо однострочная команда для извлечения / распаковки файла file.csv.bz2 в file.csv в spark-scala?
Вы можете использовать встроенную функцию в SparkContext (sc), это работает для меня
sc.textFile("file.csv.bz2").saveAsTextFile("file.csv")