проверить, является ли CSV-файл пустым или нет в спарк-скале

Question

Я хочу проверить, является ли .csv null или нет. Если не null и содержит запись, обработайте файл, иначе выйдите. Есть ли способ проверить в Spark Scala код, если файл пуст или нет?

Answer 1

Считать этот файл в фрейм данных

Val df = spark.read.csv("filename") df.rdd.isEmpty

Answer 2

Как я понимаю, вы хотите проверить, существует ли файл CSV.

Если это локальная система, вы просто используете библиотеку Java:

import java.nio.file.{Paths, Files}
Files.exists(Paths.get("yourPath/file.csv"))

если CSV на HDFS, то:

val conf = sc.hadoopConfiguration
val fs = org.apache.hadoop.fs.FileSystem.get(conf)
val exists = fs.exists(new org.apache.hadoop.fs.Path("/path/on/hdfs/to/your.csv"))