У меня есть данные на S3 в многораздельном формате, который должен хорошо работать с Hive, но пути не совсем соответствуют тому, что ожидает Hive. Есть ли способ, чтобы Hive знал о моих нестандартных путях к разделам?
Мои пути выглядят так:
s3://some-bucket/pageviews/20120311/ACME1234/example.com/data-file-1
Могу ли я как-то сказать Hive, что это следует интерпретировать как
s3://some-bucket/pageviews/dt=20120311/key=ACME1234/site=example.com/data-file-1
Существующие пути такие, какие они есть, их нельзя изменить, чтобы соответствовать ожиданиям Hive. Я также знаю, что я могу вручную добавить все разделы с помощью ALTER TABLE pageviews ADD PARTITION (...) LOCATION ..., но это быстро станет утомительным, даже если я его напишу.