искра - где датафрейм определен в исходном коде scala

Question

Я пытаюсь найти определение класса DataFrame в исходном коде scala, а не в pyspark.

Есть некоторые файлы, такие как DataFrameReader, DataFrameWriter, Dataset, но не DataFrame.

Я нашел несколько каталогов, таких каккак искра / sql, искра / ядро.

Answer 1

DataFrame - это просто набор данных [Row] и псевдоним типа:

type DataFrame = Dataset[Row]

https://github.com/apache/spark/blob/50538600ec972469338370f7e2d3674ca8b3c389/sql/core/src/main/scala/org/apache/spark/sql/package.scala#L46