Я использую Spark SQL для создания таблицы в кластерах Had oop. Мои запросы терпят неудачу из-за полной проблемы квоты пространства каталогов.
Существуют ли какие-либо общие правила, которым мы руководствуемся при написании кодов spark sql для создания меньшего количества каталогов в кластерах Had oop? Я исследовал и нашел несколько указателей, но не мог различить многое о них.
Кластеризация
Группировка
Разделение
Может ли кто-нибудь пролить свет на то, какая техника лучше всего подходит для создания меньшего количества каталогов при записи в кластеры Had oop?