У меня есть 8192 различных записи в столбце, и я хочу перераспределить свой фрейм данных, чтобы каждый раздел содержал значение только для одного отдельного значения.
Используя перераспределение и указав имя столбца в качестве параметра, я вижу 3000 из8192 раздел пуст.Я не сталкивался с этой проблемой при работе с spark 1.6.2, но, похоже, проблема с spark 2.2 и выше.