Я запускаю программу Java, которая взаимодействует с библиотекой C / C ++ (LightGBM) через SWIG.
Мне сложно определить, когда malloc встречается в C сторона, какой тип памяти соответствует:
spark.executor.memory? spark.executor.memoryOverhead? - не контролируется настройками исполнителя и напрямую использует любые оставшаяся машинная память?
Я ожидал, что это будет номер 2, но я выделил несколько довольно больших наборов данных в C через mallo c, что на go превышает предел memoryOverhead и работа все еще работала.
Спасибо