Spark - контейнер убивает пряжу при превышении лимита памяти - PullRequest
1 голос
/ 12 марта 2020

Как можно уменьшить использование памяти при записи DF в файл (или файлы)?

Если мы увеличим количество разделов - создаст ли это ненужное перемешивание?

Какова лучшая рекомендация по улучшению использования памяти без замедления (слишком большого) выполнения в PySpark?

Спасибо.

...