Начиная с Spark 2.4, верхний предел составляет 8 ГБ. Исходный код
Когда мы говорим о 8 ГБ, мы говорим о 8 ГБ для каждого объекта, который будет транслироваться, и неограниченном количестве транслируемых объектов в случае доступной памяти в кластере Spark
или
около 8 ГБ в качестве общей памяти, которая может быть выделена для всех транслируемых объектов?