Невозможно перезаписать раздел на S3, когда S3 и мета-хранилище HIVE не синхронизированы.
- Отправлено искровое задание в AWS altus для загрузки многораздельной таблицы HIVE на S3.
- Некоторые какраздел был удален, и мне пришлось повторно отправить задание снова.
- Заметил, что раздел S3 создается только в том случае, если я выполняю команду alter drop partition и затем отправляю задание spark.
- Без удаления разделов,задание spark не завершилось неудачно, но оно не создало никаких файлов / папок на S3.
В HDFS все по-другому.Умеет писать HDFS, даже если метасторка HIVE не синхронизирована.Хотелось бы узнать, наблюдал ли кто-либо такую же и какую-либо конкретную причину для этого.