AWS Glue - сканер boto3 не создает таблицу - PullRequest
0 голосов
/ 07 июня 2019

Я пытаюсь создать и запустить сканер клея AWS через библиотеку boto3. Сканер работает с файлами JSON в папке s3. Сканер успешно завершает работу, когда я проверяю журналы, ошибок нет, но он не создает таблицы в моей базе данных клея

Это не проблема разрешения, так как я могу создать тот же сканер через CFT, и при запуске он создает таблицу, как и ожидалось. Я использую ту же роль, что и мой CFT в моем коде, я использую boto3 для его создания.

Попробовал использовать boto3 create_crawler () и run_crawler (). Пробовал использовать boto3 update_crawler () на сканере, созданном из CFT, и обновлять целевой путь s3.

 response = glue.create_crawler(
        Name='my-crawler',
        Role='my-role-arn',
        DatabaseName='glue_database',
        Description='Crawler for generating table from s3 target',
        Targets={
            'S3Targets': [
                {
                    'Path': s3_target
                }
            ]
        },
        SchemaChangePolicy={
            'UpdateBehavior': 'UPDATE_IN_DATABASE',
            'DeleteBehavior': 'LOG'
        },
        TablePrefix=''
    )

1 Ответ

0 голосов
/ 09 июня 2019

Вы уверены, что указали правильную область в клиенте клея (создание объекта клея).

Однажды я скопировал код, забыл изменить регион и потратил часы, выясняя, почему он не создает таблицу, когда нет ошибки. В конце концов я понял, что таблица создана в другом регионе, так как я забыл изменить регион, пока копировал код в новый регион.

...