Как извлечь одно значение (столбец / строка) из кадра данных с помощью PySpark? - PullRequest
Новая
       42

Как извлечь одно значение (столбец / строка) из кадра данных с помощью PySpark?

0 голосов
/ 28 марта 2019

Вот мой искровой код.Он работает нормально и возвращает 2517. Все, что я хочу сделать, это напечатать «2517 градусов» ... но я не уверен, как извлечь это 2517 в переменную.Я могу только отображать фрейм данных, но не извлекать из него значения.Звучит супер просто, но, к сожалению, я застрял!Любая помощь будет оценена.Спасибо! 

df = sqlContext.read.format("csv").option("header", "true").option("inferSchema", "true").option("delimiter", "\t").load("dbfs:/databricks-datasets/power-plant/data")

df.createOrReplaceTempView("MyTable")

df = spark.sql("SELECT COUNT (DISTINCT AP) FROM MyTable")

display(df)

1 Ответ

1 голос
/ 28 марта 2019

Я думаю, что вы ищете collect. Примерно так должно получиться значение: 

df.collect()[0]['count(DISTINCT AP)']

при условии, что имя столбца равно 'count(DISTINCT AP)'

...