Насколько я понимаю, вы пытаетесь записать файлы, имена которых основаны на столбце данных SMBL. Я предлагаю написать фрейм данных с partitionBy()
, в котором вы указываете столбец. Может потребоваться сделать user defined function
на основе столбца SMBL, чтобы получить правильное наименование раздела.
При этом вам не нужно предварительно вызывать метод collect для действия записи.