Я пытаюсь выполнить несколько соединений на разных таблицах улья с помощью Spark и также пытаюсь сохранить финальный стол в улье.
Проблема в том, что этап SaveAsTable занимает почти 12 minutes.Таблица имеет 16 million row.
Есть два исполнителя и всего создано 64 задания.Проблема заключается в том, что все задачи обрабатываются вокруг 17 МБ , однако последняя задача обрабатывает 250 МБ данных.
Я попытался выполнить перераспределение на 264, однако он создаетновый этап после вышеупомянутого этапа.что странно
