Как использовать настраиваемую группу журналов CloudWatch с заданием Python Shell Glue?

Question

У меня есть несколько заданий на клей типа «Python Shell», и я хочу отправлять журналы заданий в настраиваемую группу журналов CloudWatch вместо группы журналов по умолчанию. Я могу добиться этого для заданий клея типа "Spark", указав параметры задания, как показано ниже:

"--enable-continuous-cloudwatch-log" = true
"--continuous-log-logGroup" = "/aws-glue/jobs/glue-job-1"

, но те же параметры не работают для заданий Python Shell (журналы по-прежнему сохраняются по умолчанию группы журналов / aws -glue / python -jobs / output и / aws -glue / python -jobs / error). Есть ли способ добиться этого для Python заданий Shell?

Answer 1

continuous-log-logGroup - это то, что поставляется с заданиями AWS Glue Spark и недоступно для Python заданий Shell. Самое близкое, что вы можете сделать, - это настроить обработчик журнала, который записывает в CloudWatch. Watchtower является популярным:

import watchtower, logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
logger.addHandler(watchtower.CloudWatchLogHandler(log_group='watchtower', stream_name='bla'))
logger.info("Hi")
logger.info(dict(foo="bar", details={}))

Вы также можете напрямую использовать Cloudwatch Logs API:

logs = boto3.client('logs')

LOG_GROUP='TUTORIAL-DEV2'
LOG_STREAM='stream1'

logs.create_log_group(logGroupName=LOG_GROUP)
logs.create_log_stream(logGroupName=LOG_GROUP, logStreamName=LOG_STREAM)


timestamp = int(round(time.time() * 1000))

response = logs.put_log_events(
    logGroupName=LOG_GROUP,
    logStreamName=LOG_STREAM,
    logEvents=[
        {
            'timestamp': timestamp,
            'message': time.strftime('%Y-%m-%d %H:%M:%S')+'\tHello world, here is our first log message!'
        }
    ]
)

Этот пример взят из этой сути: https://gist.github.com/olegdulin/fd18906343d75142a487b9a9da9042e0