406 ошибка, препятствующая боту сканировать страницу

Question

Я использую SEMrush для целей SEO.Я не уверен, почему я получаю следующую ошибку на их сайте при сканировании моей страницы:

Мы не смогли просканировать эту страницу с помощью агента пользователя SEMrushBot из-за ошибки HTTP 406. Тем не менее, мы былисмог собрать несколько общих идей для этой страницы.Убедитесь, что ваши страницы доступны для поисковых роботов, а затем начните оптимизировать ее, используя наши идеи.

Что может быть причиной ошибки 406, чтобы боты не сканировали страницу?Я считаю, что Google может сканировать его, потому что у меня нет ошибок на их стороне.

Что я могу проверить?

Файл Robots.txt:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Disallow: /admin/
Disallow: /old-site/
sitemap: https://example.com/sitemap.xml

Answer 1

406 - ошибка, которая говорит о том, что сервер не предоставит вам никаких данных, потому что ваш пользовательский агент отсутствует в списке принятых.

Целевой ресурс не имеет текущего представления, которое было бы приемлемо для пользовательского агента, согласно полям заголовка проактивного согласования, полученным в запросе, и сервер не желает предоставлять представление по умолчанию.

Так что, в основном, способ решить эту проблему - это сменить пользовательский агент.