где хранится df.cache () - это хранилище в памяти драйвера или памяти исполнителя

Question

Blockquote

если он хранит уровень исполнителя, то из-за нехватки памяти он должен выходить в случае, если размер кадра данных превышает размер памяти исполнителя

Answer 1

Хранится у исполнителя (ов). Если вы выберете уровень хранилища StorageLevel.MEMORY_AND_DISK или StorageLevel.MEMORY_AND_DISK_SER, он сохранит данные на диске, когда памяти мало.