Написать условное заявление с пустым фреймом данных искры

Question

Мне нужно написать условие if else в pyspark следующим образом.

schema = StructType([])
final = sqlCtx.createDataFrame(sc.emptyRDD(), schema)

if final.rdd.isEmpty:
    print('abc')
else:
    print('pqr')

Но я не могу найти правильный синтаксис, чтобы проверить, пустой ли фрейм данных или нет.Вышеупомянутый final.rdd.isEmpty всегда дает истинные значения, даже если последний фрейм данных не пустой.

Answer 1

Вам не хватает '()' на

final.rdd.isEmpty

Обновлен код

schema = StructType([])
final = sqlCtx.createDataFrame(sc.emptyRDD(), schema)

if final.rdd.isEmpty():  # Add () here.
    print('abc')
else:
    print('pqr')

В качестве альтернативы, без преобразования вашего окончательного DataFrame в rdd.Вы можете использовать len () и first () или head (1) соответственно.

# If the length is '0', it is empty.
# You can use first() instead of head(1)
if len(final.head(1)) == 0: 
   print('abc')
else:
   print('pqr') 

Для получения дополнительной информации о

• len () : https://www.w3schools.com/python/ref_func_len.asp
• first () & head () : https://spark.apache.org/docs/1.6.1/api/java/org/apache/spark/sql/DataFrame.html