Spark процесс на кластере является Java-процесс - PullRequest
0 голосов
/ 20 января 2019

Я не знаю много о Java. Кто-нибудь может объяснить эту строку для меня.

«Любой любой процесс Apache Spark, который будет работать на вашем кластере или локальном компьютере, является процессом JVM.»

1 Ответ

0 голосов
/ 20 января 2019

Spark основан на концепции драйвера и исполнителя, где драйвер является своего рода мастером, а исполнитель - рабами. В искре есть два типа операций: трансформация и действие. Хотя только Драйвер может инициировать одну операцию. Исполнители - это те, кто фактически выполняет операцию. Таким образом, вы можете сказать, что бы ни происходило в искровом исполнении, водитель и исполнитель несут только одну ответственность. А драйвер и исполнитель - не что иное, как процесс JVM или контейнер JVM (пряжа). Таким образом, все операции выполняются только процессом JVM (Driver и Executor). Надеюсь, что это объясняет ваш запрос.

...