Получил файл большего размера ~ 10 ГБ (около 4M записей с 1000+ столбцами) в локальном искровом контексте на одном компьютере.
После конвейерной обработки некоторых мутаций я хотел развернуть пару столбцов.
sdf_pivot(blah,A~B)
Он работает с выборочной таблицей из 200 тыс. Записей, но с полными 4M я получаю следующую ошибку ...
Ошибка:
Column 2 must be named