Я пробовал приведенный ниже код -
riders.write.csv(path="/loudacre/devices4_csv", sep=",", mode="overwrite", compression="snappy")
Ошибка - 18/12/22 13:54:38 ОШИБКА executor.Executor: Исключение в задании 0.0 на этапе 10.0 (TID 10) Java.lang.RuntimeException: нативная библиотека snappy недоступна: эта версия libhadoop была собрана без поддержки snappy.в org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded (SnappyCodec.java:65) в org.apache.hadoop.io.compress.SnappyCodec.getCompressorType (SnappyCodec.java:134) в org.apache.hadoopio.compress.CodecPool.getCompressor (CodecPool.java:150) по адресу org.apache.hadoop.io.compress.CompressionCodec $ Util.createOutputStreamWithCodecPool (CompressionCodec.java:131) по адресу org.apache.hadoopretoCatec.put.put(SnappyCodec.java:100) в org.apache.spark.sql.execution.datasources.CodecStreams $$ anonfun $ createOutputStream $ 1.apply (CodecStreams.scala: 84) в org.apache.spark.sql.execution.datasources.CodecStreams$$ anonfun $ createOutputStream $ 1.apply (CodecStreams.scala: 84) в scala.Option.map (Option.scala: 146) в org.apache.spark.sql.execution.datasources.CodecStreams $ .createOutputStream (CodecStreams.scala:84) в org.apache.spark.sql.execution.datasources.CodecStreams $ .createOutputStreamWriter (CodecStreams.scala: 92) в org.apache.spark.sql.execution.datasources.csv.CsvOutputWriter.(CSVFileFormat.scala: 177) в org.apache.spark.sql.execution.datasources.csv.CSVFileFormat $$ anon $ 1.newInstance (CSVFileFormat.scala: 85) в org.apache.spark.sql.execution.datasources.SritDirectoryDirect..newOutputWriter (FileFormatDataWriter.scala: 120) в org.apache.spark.sql.execution.datasources.SingleDirectoryDataWriter. (FileFormatDataWriter.scala: 108) в org.apache.spark.sql.execution.datasriter $.$ spark $ sql $ исполнительные $ источники данных $ FileFormatWriter $$ executeTask (FileFormatWriter.scala: 233) в org.apache.spark.sql.execution.datasources.FileFormatWriter $$ anonfun $ write $ 1.apply (FileFormatWriter.scala: 169)