Cloud Composer выбрасывает InvalidToken после добавления другого узла

Question

Недавно я добавил несколько новых групп доступности базы данных в производственный поток и в результате решил увеличить количество узлов в пуле Composer.После этого я получил ошибку: Can't decrypt _val for key=<KEY>, invalid token or value.Это происходит сейчас для каждого DAG, который использует переменные.Это также не тот ключ, это зависит от того, какие переменные нужны DAG.

Я сразу уменьшил Composer до 3 узлов, и проблема не исчезла.

Я попытался повторно сохранить всеПеременные, воссоздающие их в пользовательском интерфейсе (которые говорят, что все они действительны), воссоздающие их в CLI (в котором перечислены invalid для каждого отдельного).

Я также попытался обновить конфигурацию, чтобы попытаться перезагрузить сервер, и вручную остановить экземпляры виртуальной машины.

Композитор также, по-видимому, сводит на нет возможность обновления ключа Fernet, поэтому я не могупопробуйте и используйте новый.По некоторым причинам кажется, что постоянный, назначенный Composer, теперь недействителен.

Есть ли что-нибудь еще, что можно сделать, чтобы исправить эту проблему, кроме воссоздания среды?

Answer 1

Мне удалось решить эту проблему, добавив новый пакет Python. Кажется, что добавление пакета - единственный способ действительно «перезагрузить» среду. Перезагрузка сделала недействительными все мои переменные и соединения, когда она закончилась, но я смог просто добавить их обратно, вместо того, чтобы заново создавать всю среду.

Слышал об этой проблеме: согласно Google, Composer создает пользовательское изображение для среды и передает его каждому узлу, и если оно было повреждено во время масштабирования, то единственный способ исправить это - добавить новый пакет Python, чтобы это восстанавливает изображение. Кстати, версия 1.3.0 Composer намного лучше, так как планировщик перезапускается каждые 10 минут, что должно решить некоторые из последних проблем, с которыми я столкнулся.