Загрузите файл на Pyspark Worker один раз - PullRequest
0 голосов
/ 23 июня 2018

У меня проблема с большим объектом (400мл соленых), который мне нужно использовать в UDF.

Объект засолен и на каждом работнике, но я не знаю, как его загрузить на работника вне UDF, что приводит к его перезагрузке для каждой строки.

Широковещательная рассылка на самом деле не помогла потратить дополнительные средства на ее загрузку для каждой задачи, которая приводит к сбою всего в моей среде разработки.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...