То, что у вас есть файл 2 Гб на диске, не означает, что он займет столько же, меньше или больше памяти в оперативной памятиДругой момент заключается в том, как ваш файл хранится на диске (формат строки или столбчатый формат).Предположим, что он хранится в формате ORC, тогда он уже будет иметь предварительно вычисленную информацию о таблицах.
Я предлагаю вам проверить свой искровый исполнитель и детали задачи о деталях памяти, чтобы понять, сколько этапов / исполнителей / задач используется.для завершения DAG.