Сканер во многом похож на любой другой базовый клиент:
- запросит страницу с вашего сервера,
- скачай,
- и посмотрите локально
Это точно так же, как когда вы запрашиваете ту же самую страницу со своего сервера, используя firefox, и читаете ее в firefox (за исключением того, что "firefox" заменяется на "crawler")
Если вы динамически что-то изменили:
- Если это изменение выполняется на стороне сервера, страница, загруженная искателем, будет содержать эту модификацию.
- Если модификация выполняется на стороне клиента (Javascript, как правило - как вы делаете сейчас) , высоки шансы, что сканер их не увидит: сканеры обычно не действительно интерпретировать Javascript .