У меня есть таблица Avro в Hive с внешней схемой
...STORED AS AVRO TBLPROPERTIES('avro.schema.url=/path/to/schema.avsc')
Я могу получить доступ к таблице и ее данным из Spark. Кажется, что spark сохраняет схему чтения в свойствах таблицы после первого доступа: spark.sql.sources.schema.part.0 = {....}
Когда я затем добавляю комментарий (do c) в файл schema.avs c на HDFS, я чан см. комментарий в Hive, но не в Spark. Как только я отменяю все ключи, начинающиеся с spark.sql в свойствах таблицы, я также вижу комментарий в Spark.
Вторая проблема, с которой я столкнулся, заключается в том, что я вижу только свойства spark.sql... из Hive.
Возможно ли как-то в Spark очистить эту сохраненную схему в таблицах свойств? refresh table did not help