Зачем нам нужен PySpark, если написанные на Python скрипты можно запускать в стандартном Spark?
Я не знаю языка Scala, поэтому для работы со Spark я установил PySpark (с помощью pip). Но после некоторых экспериментов с PySpark любопытство заставило меня попробовать запустить скрипт Python, который я использую (встроенный механизм рекомендаций на основе ALS) в стандартном Spark (не в версии PySpark). Я сделал это с помощью «$ ./bin/spark-submit app.py».
И это работает! Теперь я в замешательстве: зачем нам тогда PySpark?
Спасибо за внимание.