Robots.txt не может быть найден

Question

В настоящее время у меня есть веб-сайт (http://www.agents -world.com / ), обслуживаемый node.js с хоста heroku. Проблема в том, что robots.txt не может быть найден, что бы я ни делал. Мне было интересно, кэширует ли герою что-то или, вообще говоря, не развертывает этот файл.

Я внес изменения в приложение, поэтому знаю, что Heroku развернул последнюю версию.

Я бы ожидал увидеть содержимое файла robots.txt здесь http://www.agents -world.com / robots.txt

Есть мысли?

Answer 1

Похоже, у вас нет маршрута, указывающего на robots.txt.

Вы должны обслуживать этот конкретный файл, используя, например, экспресс-маршрут:

app.get("/robots.txt", function(req, res){
    res.sendFile(path.resolve("PATH_TO_ROBOTS.TXT"));
});