Мы сталкиваемся с проблемой, когда происходит сбой sparkthrift после выполнения многих запросов (таблица кеша никогда не запускается!) И заполнения кучи памяти, при заполнении кучи свыше 250 ГБ, даже когда возвращаются только небольшие наборы данных (<5 ГБ) !. <a href="https://jira.apache.org/jira/browse/SPARK-22575" rel="nofollow noreferrer">https://jira.apache.org/jira/browse/SPARK-22575, похоже, связано, если мы решим отключить динамическое расположение, что бы вы порекомендовали настроить для числа искровых ядер / исполнителей для оперативной памяти на 480 ГБ, 64-ядерной машины? Одиночный мастер, без рабов.