Я очень новичок в pyspark.
Я пытаюсь оценить значение с помощью искрового фрейма данных, который может содержать миллионы и более строк.
df = spark.sql("select count(*) as item from products where date(create_date) >= '2019-01-01'")
df.show()
+----------+
| item |
+----------+
| 1256149|
+----------+
Мне нужнопринимает значение элемента из «ДФ» dataframe. Итак, я попытался использовать collect () и select ("item"). Head () [0] ниже как:
df.collect()[0][0]
1256149
df.select("item").head()[0]
1256149
есть ли другой способ получить значение без использования collect () или select (),функция, как я понимаю, собирать () принимает много памяти. Итак, я хотел бы узнать эффективный способ.
Заранее спасибо.