Ошибка при попытке выполнить поворот с использованием списка в фрейме данных pyspark
В различных значениях моего столбца, который я хочу изменить, также есть значение null. Я пытаюсь выполнить поворот двумя способами - 1.предоставляя список различных значений 2. не предоставляя список значений
Я могу поворачиваться, если предоставляю список, но я предпочитаю поворачиваться без предоставления какого-либо списка, но получаю ошибку.Пожалуйста, ознакомьтесь со всеми моими кодами, приведенными ниже, и сообщите, если ошибка вызвана наличием значения NULL в сводном столбце.
1.Successful Pivot
df.groupBy("ID").pivot("class",["None","A","B","C"]).sum("Amt").collect()
2. Ошибка в коде 1
df.groupBy("ID").pivot("class").sum("Amt").collect()
3. Ошибка в коде 2
Создание списка отдельных значений
l=[df.select('class').distinct().collect()]
поворот с использованием созданного списка
df.groupBy("ID").pivot("class",l).sum("Amt").collect()
Как упоминалось ранее, я предпочитаю запускать код в строке №2 или даже 3. Я думаю, что ошибка из-за «нулевых» значений в столбце «класс». Входные данные будут высоко оценены.