У меня есть веб-сайт ASP .NET Core, который использует Nest для отправки запросов на сервер Flexiblesearch. Я проверяю, есть ли в ответе IsValid, чтобы меня могли предупредить, если когда-либо возникнут проблемы с подключением к серверуasticsearch. Это работает отлично, за исключением случаев, когда боты сканируют мой сайт. Единственные исключения, которые я получаю от ботов, как показано ниже. Есть идеи, что мешает ботам правильно сканировать мои эластичные страницы?
var response = client.Get<Category>(cid);
if (!response.IsValid)
{
throw new Exception("Error connecting to Elastic Server");
}
Вот исключение, показывающее пользовательский агент с пустым реферером:
Реферер: Время: 27.06.2008 11:12 Агент: Mozilla / 5.0 (совместимо;
Googlebot / 2.1; + http://www.google.com/bot.html) Путь: / Каталог
Исключение: ошибка подключения к Elastic Server