Нужно ли устанавливать Koalas на каждом узле моего кластера Spark или только на главном узле?

Question

Я обнаружил Коал от Spark + AI Summit, который приносит панд в Spark.

Насколько я знаю, если мне нужно map сторонняя функция для Spark DataFrame, Я должен установить пакет на каждом узле моего кластера Spark.

Это то же самое для Коал? Или мне просто нужно запустить pip install koalas на моем главном узле и позволить Коаласу и Спарку позаботиться обо всем остальном?

Я не нашел никаких подробностей в Документах Коалы *, кромеpip install koalas.

Answer 1

Да, вам нужно будет установить коалы на все узлы кластера. Как правило, все сторонние библиотеки должны быть установлены на всех узлах кластера.