Что происходит, когда я снова запускаю Glue Crawler без каких-либо изменений в файлах в пути S3, на который он указал? - PullRequest
0 голосов
/ 22 апреля 2020

Я запускаю AWS Crawler один раз. Опять бегаю тот же гусеничный. В чем разница между первым и вторым разом?

Когда я запускаю то же усиление AWS Crawler без каких-либо изменений в файлах в S3, будет ли сканироваться все усиление файлов?

Когда-нибудь я может быть 500 файлов в ведре. Будет ли Crawler обрабатывать все файлы или он ничего не делает, так как файлы не изменяются и новых файлов нет?

1 Ответ

1 голос
/ 23 апреля 2020

Согласно документации

Если ваш сканер запускается более одного раза, возможно, по расписанию, он ищет новые или измененные файлы или таблицы в вашем хранилище данных. Выходные данные сканера включают новые таблицы и разделы, найденные после предыдущего запуска.

Я предполагаю, что у него есть механизм для отслеживания изменений файла S3 с использованием даты изменения файлов.

...