Я планирую запускать свои задания Spark SQL на EMR AWS и планирую использовать AWS Glue Metastore для сохранения схемы таблиц и метаданных расположения файлов. Проблема, с которой я сталкиваюсь, заключается в том, что я не уверен, как изолировать нашу среду тестирования от среды разработки. Бывают случаи, когда я могу добавить новый столбец в таблицу, и я хочу проверить эту логику в тестовой среде, прежде чем вносить изменения в рабочую среду. Похоже, что Glue Metastore поддерживает только одну запись для каждой пары база данных-таблица, что означает, что test и prod будут указывать на одну и ту же запись Glue Metastore, поэтому любое изменение, внесенное в тестовую среду, также немедленно повлияет на prod. Как другие решили эту проблему?