Итерируйте фрейм данных и используйте эти значения в инструкции Spark SQL

Question

У меня есть фрейм данных, скажем

DF

Animal
======
Cat
Dog
Horse

Я хочу повторить эти значения и использовать их в выражении Spark SQL.

Может кто-нибудь помочь мне, пожалуйстас этим?

Answer 1

Это странный вариант использования, но вы можете перебирать свои значения и делать все, что хотите, с помощью foreach.

INPUT

df.show
+------+
|animal|
+------+
|   cat|
|   dog|
| horse|
+------+

SENTENCE

Так же, как я использовал печать, вы можете выполнять любую другую функцию, но, как сказано в комментариях, это немного странно

df.foreach(row => println(row.getAs[String](0)))

С этим фрагментом вы получаетефактическое значение

row.getAs[String](0)

Answer 2

API набора данных Spark / Dataframe более декларативны, чем императивы (например, SQL), что означает, что вы описываете, какими вы хотите, чтобы конечные данные были, и позволяли механизму искры определить точное преобразование.

Что выописание не имеет смысла как сценарий использования для spark