Мы пишем скрипты на aws клее (pyspark), манипулирующие и извлекающие данные из xml файлов; для каждого файла xml у нас есть одно задание склейки, записывающее в несколько разных таблиц в нашей базе данных RDS. Первая записанная таблица - это наша родительская таблица, которая содержит все внешние ключи, необходимые для записи дополнительных таблиц в нашу базу данных. Однако мы наблюдали непоследовательные сбои задания склейки из-за ошибки внешнего ключа. Эти ошибки внешнего ключа обычно разрешаются при повторном запуске задания. гарантированно завершится до начала следующего. Это известное поведение клея? Есть ли варианты повлиять на это?
Любые мысли или рекомендации приветствуются.