Как я могу написать в паркет с пользовательским разделителем?
(partitonBy, по несуществующему столбцу в таблице)
Например partitonBy year(date), где дата - столбец, год - функция udf.
Просто настраиваемая часть поддерживается только в PairRDD, но RDD не может записывать в паркет без схемы.
И DataSet в Java имеют только
partitonBy(String colName),partitonBy(Seq colNames).
(partitonBy("year(date)")
не работает