Без сохранения или кэширования Spark считывает данные с диска при каждом действии?

Question

Для простоты и в псевдокоде, если я делаю myDF = spark.read.option('inferSchema', True).json(someFiles), а затем делаю myDF.count(), читает ли спарк данные с диска дважды?

Answer 1

• Если DAG содержит только узкие преобразования, Spark будет читать данные по каждому действию.
• Фактически в вашем случае он будет считывать данные два раза, хотя существует только одно действие - Почему SparkSessionвыполнить дважды за одно действие?
• Если DAG содержит широкие преобразования, Spark может в некоторых случаях повторно использовать случайные файлы - Что означает «Пропущенный этап» в веб-интерфейсе Apache Spark? - чтооднако здесь не произойдет.