Реализация `collect_list` через Spark SQL

Question

Я пытаюсь реализовать функцию collect_list Spark. SQL. Способ сделать это в PySpark через фрейм данных доступен здесь

Я пытаюсь сделать то же самое с помощью запроса SQL.

Answer 1

Это не имеет ничего общего с pyspark или Spark с Scala.

Попробуйте:

SELECT c1, collect_list(struct(c2, c3)) FROM tempview/table GROUP BY c1

или вариацию, основанную на ваших требованиях.