Как объединить файлы таблиц кустов при разбиении в Pyspark - PullRequest
0 голосов
/ 19 февраля 2020

Как решить проблему маленьких файлов hdfs с pyspark? Я пытался сохранить do как таблицу и разделить файлы при группировании для 1 корзины, я попробовал некоторую команду hql, но она, похоже, не работает. Я хотел бы знать, как реализовать это и заставить работу работать через pyspark.

...