Я пытаюсь создать и запустить сканер клея AWS через библиотеку boto3. Сканер работает с файлами JSON в папке s3. Сканер успешно завершает работу, когда я проверяю журналы, ошибок нет, но он не создает таблицы в моей базе данных клея
Это не проблема разрешения, так как я могу создать тот же сканер через CFT, и при запуске он создает таблицу, как и ожидалось. Я использую ту же роль, что и мой CFT в моем коде, я использую boto3 для его создания.
Попробовал использовать boto3 create_crawler () и run_crawler (). Пробовал использовать boto3 update_crawler () на сканере, созданном из CFT, и обновлять целевой путь s3.
response = glue.create_crawler(
Name='my-crawler',
Role='my-role-arn',
DatabaseName='glue_database',
Description='Crawler for generating table from s3 target',
Targets={
'S3Targets': [
{
'Path': s3_target
}
]
},
SchemaChangePolicy={
'UpdateBehavior': 'UPDATE_IN_DATABASE',
'DeleteBehavior': 'LOG'
},
TablePrefix=''
)