Определите пустые файлы JSON с помощью Spark 2.4

Question

Я хочу избежать обработки пустых файлов JSON. Некоторые пустые файлы JSON, которые я получаю, содержат только открытые и закрытые квадратные скобки, например: []. Файлы, содержащие только это, следует понимать как пустые файлы.

В Spark 2.2 следующая строка возвращает true:

spark.read.json(pathToFile).isEmpty

Но в Spark 2.4 возвращается false.

Как идентифицировать этот тип файла как пустой при использовании Spark 2.4?

Answer 1

Посмотрите на столбцы

val stuff = spark.read.json("hdfs:///user/me/empty.json")

scala> stuff.columns
res6: Array[String] = Array()