Что произойдет с широковещательной переменной Spark, если один из узлов заполнен

Question

Я только начал работать над искрой и начинаю.

Q. Предположим, что мы передали небольшую таблицу, и в то же время некоторые узлы заполнены и не осталось свободного места.

Если Spark не может скопировать широковещательную переменную из-за ошибки памяти, то чем это полезно?

Как искра справится с этой ситуацией?

Answer 1

Один удар по этому сценарию, Spark просто рухнет с OOM. В этом он не отличается по сравнению со случаем, когда данные передаются через замыкание.