Как добавить robots.txt в приложение узла?

Question

Каков наилучший из возможных, наиболее совершенных и актуальных способов добавления robots.txt в приложение узла?

Может ли это быть лучше обработано на уровне веб-сервера?

P.S .: Я использую Mongo в качестве БД, а Nginx в качестве веб-сервера.

Answer 1

Используйте функцию промежуточного программного обеспечения. Таким образом, вы можете обрабатывать разные файлы robots.txt для разных сред, таких как производство и разработка.

app.use('/robots.txt', function (req, res, next) {
    res.type('text/plain')
    res.send("User-agent: *\nDisallow: /");
});

Вы также можете обслуживать файлы в папках тех сред, к которым они принадлежат.

if (app.settings.env === 'production') {
  app.use(express['static'](__dirname + '/production')); // Uses the robots.txt from production folder
} else {
  app.use(express['static'](__dirname + '/development')); // Uses the robots.txt from development folder
}

Связанный пост: Какой самый умный способ обработки robots.txt в Express?