У меня есть таблица Hive, которую я написал в Hive, используя Spark (saveAs(tableName)). Теперь я хочу добавить столбец в эту таблицу. Мой первый подход состоял в том, чтобы добавить этот столбец через Hive, но, очевидно, Spark не подхватывает новую схему, даже если столбец был добавлен в таблицу. Когда я проверяю детали таблицы в Hue, spark.sql.sources.schema.part.0 не обновляется. Поэтому я подумал добавить столбец через задание Spark, которое выполняет этот запрос к таблице. Тот же результат, и столбец даже не добавляется в таблицу. Есть ли способ обойти эту проблему? Я подумал изменить имя таблицы, создать новое с правильной схемой и затем insert select * ... в новую таблицу, но это не сработало, поскольку таблицы разбиты.