Первая точка входа в Spark SQL

Question

У меня возникли проблемы с поиском первой строки в исходном коде Spark после запуска «spark.sql (SQL_QUERY) .explain ()».

Кто-нибудь знает, какой модуль / пакетЯ мог бы начать изучать? Спасибо.

Answer 1

Итак, я думаю, что первая строка такая: https://github.com/apache/spark/blob/v2.4.4/sql/core/src/main/scala/org/apache/spark/sql/SparkSession.scala#L642

Но уже было выполнено много строк, специально для создания SparkSession

Answer 2

Прежде всего вам нужно создать сеанс spark или sqlContext и зарегистрированную временную таблицу из DataFrame, чем запрос к временной таблице, такой как

results = spark.sql("SELECT * FROM people")
names = results.map(lambda p: p.name)