Я пытаюсь загрузить данные таблицы 60 ГБ в кадр данных Spark python, а затем записать их в таблицу кустов.
Я установил память драйвера, память исполнителя, максимальный размер результата, достаточный для обработки данных. Но я получаю сообщение об ошибке при запуске spark submit со всеми вышеуказанными конфигами, указанными в командной строке.
Примечание. Через оболочку spark python (указав память драйвера и исполнителя при запуске оболочки) я могу заполнить целевую таблицу улья.
Есть мысли ??