Так что моя проблема иногда в том, что моя работа по склеиванию занимает много времени или вообще терпит неудачу из-за некоторых необъяснимых проблем.Есть ли способ вывести сообщения в выходные данные или журналы ошибок, чтобы я мог хотя бы отследить, где задание находится сейчас или было в конце?
Я попробовал решение в КакЯ пишу сообщения в выходной журнал на AWS Glue?
Но это, похоже, не работает для меня.Выходной журнал генерирует тонну журналов, и даже когда я ищу или фильтрую ключевые слова в своем сообщении, я все равно не могу их найти.
Сейчас я рассматриваю возможность записи сообщений в файл S3 для обхода.Эта проблема.Но мне стало интересно, нет ли другого способа показать сообщения, которые я могу проверить во время выполнения задания?