Не уверен, как вы определяете, является ли это правильный запрос Ajax.Если вы ожидаете, что это будет POST, но паук использует GET, тогда он должен быть 405. (Метод не разрешен).
Вы не должны использовать 406: это означает «неприемлемо», в том смысле, что выне может поддерживать заголовки HTTP Accept:, отправленные браузером.Скорее всего, это будет неверно (так как вы, вероятно, вообще не проверяете заголовки Accept).
Если вы действительно отклоняете запрос, потому что он поступает от неавторизованного клиента, тогда 403 подходит.