Я запускаю некоторый код pyspark локально на концентраторе jupyter.Оперативная память моей системы составляет 32 ГБ.Всякий раз, когда я использую метод show () или count () после определенных операций (скажем, соединения или объединения или других), мое ядро зависает или умирает, или иногда оно вызывает исключение.Но без метода show () или count () код работает нормально.
Я не знаю, что вызывает эту проблему.Размер данных, которые я обрабатываю, составляет около 1 ГБ.
Любая подсказка по этому поводу будет принята к сведению.
В большинстве случаев ошибка будет: Причина: java.lang.OutOfMemoryError: Пространство кучи Java,но это только когда я использую show () или count ()
- Также, если я использую метод ниже, то также выдает исключение
m_f_1.limit(15).toPandas().head()
ОШИБКА: root:Исключение при отправке команды.Трассировка (последний вызов был последним): файл "/home/tzade/spark-2.3.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", строка 1159, в send_command поднять Py4JNetworkError («Ответ со стороны Java пуст») py4j.protocol.Py4JNetworkError: Ответ со стороны Java пуст
Во время обработки вышеупомянутого исключения произошло другое исключение:
Трассировка (последний вызов был последним): файл "/home/tzade/spark-2.3.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", строка 985, в ответе send_command = connection.send_command (команда) Файл "/home/tzade/spark-2.3.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", строка 1164, в send_command «Ошибка при получении», e, proto.ERROR_ON_RECEIVE) py4j.protocol.Py4JNetworkError: Ошибка при получении