Почему количество слов DAG в pyspark отличается от количества слов в scala spark?Также, пожалуйста, объясните DAG pyspark для подсчета слов? - PullRequest
Новая
       22

Почему количество слов DAG в pyspark отличается от количества слов в scala spark?Также, пожалуйста, объясните DAG pyspark для подсчета слов?

0 голосов
/ 16 октября 2018

Я новичок в Spark и использую PySpark.Я заметил разницу в DAG PySpark для программы подсчета слов, чем Scala Spark.Может ли кто-нибудь помочь мне понять это?

Первый DAG - это PySpark

DAG PySpark

, а второй - Scala Spark

DAG Scala

1 Ответ

0 голосов
/ 16 октября 2018

Это происходит потому, что, в отличие от Dataset / SQL API, который обеспечивает единый уровень выполнения для всех поддерживаемых языков, внутренний RDD API гостевых языков зависит от языка.

Это означает, что онможет использовать другую внутреннюю логику и может планироваться другим способом.

...