мне кажется, что сканеры пытаются разрешить индекс всех подпапок общих папок, таких как "/ images / foo", что приводит к ошибке 404. Должен ли я что-то сделать или это нормально?
В вашем robots.txt
robots.txt
Disallow: /images/foo
Старайтесь держать сканеры подальше от всего, что им не нужно, чтобы они могли сосредоточиться на том, что вам нужно.