В кластере Spark копия широковещательной переменной хранится в каждом исполнительном процессе или только на каждой машине? - PullRequest
0 голосов
/ 09 апреля 2020

Я читаю Spark: полное руководство.

Один вопрос, который возникает у меня во время чтения, заключается в том, сделана ли копия переменной широковещания для каждого процесса исполнителя на машине, или только один раз на машину?

Поскольку широковещательная переменная должна быть неизменной, имеет смысл иметь только одну переменную на машину, но текст, который я читаю, не совсем понятен.

1 Ответ

2 голосов
/ 09 апреля 2020

Из документов :

Широковещательные переменные позволяют программисту хранить в кэше переменную только для чтения на каждом компьютере вместо отправки копии это с заданиями.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...