Я использую Apache Spark, используя Java на следующей конфигурации:
1) 100 миллионов входные строки
2) spark-submit конфигурация: --conf spark.sql.shuffle.partitions=120 --total-executor-cores=120 --executor-memory=60GB --driver-memory=50G --executor-cores=10 --driver-cores=10
3) 1 мастер и 2 рабочих: Каждый работник имеет 502 ГБ памяти и 88 виртуальных процессоров.
Я попытался запустить со значением по умолчанию spark.network.timeout, но он выдал ошибку:
has been quiet for 120000 ms while there are outstanding requests. Assuming connection is dead; please adjust spark.network.timeout if this is wrong.
Следовательно, я изменил значение spark.network.timeout на 300000 мс.
Теперь В коде нет ошибок, кроме приведенного ниже журнала:
18/12/24 06:02:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 874
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 934
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 850
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 898
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 886
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 946
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 958
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 910
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 862
18/12/24 08:27:10 ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
4 bytes, TID = 934
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 850
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 898
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 886
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 946
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 958
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 910
18/12/24 08:22:57 WARN Executor: Managed memory leak detected; size = 262144 bytes, TID = 862
Здесь Программа завершается без ошибок, но она не обработала все записи.Это дает частичные результаты для некоторых записей.
Я не могу поделиться кодом из-за проприетарных проблем.
Мой вопрос: если ячто-нибудь изменилось в моей существующей конфигурации?или это как-то связано с моим оборудованием?