Спарк учитывает конфигурацию HCatalog, если установлена опция enableHiveSupport (). Я специально ищу поддержку для hcat.dynamic.partitioning.custom.pattern property. Я думаю, что этот вариант действительно потрясающий и может помочь с множеством вариантов использования.