Вход в AWS клей

Question

Я создал задание по склеиванию AWS, которое успешно выполняется.Однако я не могу поместить какую-либо пользовательскую запись в задание.

Как создать файл журнала в корзине AWS S3, чтобы я мог отслеживать выполнение ежедневных заданий?

В настоящее время, когда мое задание выполняется, оно создает журналы по умолчанию (т. Е. Журналы искры), и я могу видеть это в облаке AWS.Как лучше всего регистрировать события в AWS glue?

Answer 1

Рекомендации по ведению журнала

AWS Glue предназначен для наилучшего ведения журнала через CloudWatch ( Подробнее см. В этой документации ).Так как ваши журналы становятся слишком большими, чтобы определить основную причину, и в CloudWatch нет события, которое бы соответствовало предложению @ varnit, мы можем сделать следующее: создать панель CloudWatch с запросом, выполняющим отфильтрованный запрос.версия ваших журналов.

Создание настраиваемой панели мониторинга

В консоли CloudWatch перейдите к «Панелям мониторинга» и выберите «Создать панель мониторинга».Назовите это чем-то значимым (например, «glue-custom-logs»).Продолжая, мы добавим и настроим виджет «Результаты запроса».Выберите ваш поток журналов, вероятно, «/ aws-glue / jobs / error», если вы использовали значения по умолчанию, и обратите внимание, что Glue по умолчанию использует поток ошибок, если вы используете обычные отпечатки на python.Выберите разумное окно времени для вашего просмотра, чтобы ваши результаты были несколько предварительно отфильтрованы.

Если у вас есть уникальный идентификатор в пользовательских сообщениях журнала, например, «glue-custom-log», теперь мы можем легко написать запрос, отфильтровывающий результаты:

fields @timestamp, @message
| filter @message like 'glue-custom-log'
| sort @timestamp desc

Сохранитевиджет, сохраните панель мониторинга, и теперь у вас есть простой доступ к предварительно отфильтрованному журналу в CloudWatch для ваших пользовательских потребностей регистрации.