Я получил много ответов на мой вопрос, но мое замешательство все еще там.Где я должен разместить файл robots.txt в моем проекте Codeigniter.Это означает, должен ли я поместить файл в папку «application», «view» или «model» или где-то еще.
Файл robots.txt ДОЛЖЕН быть помещен в корневой каталог документа хоста. Он не будет работать в других местах.
Если ваш хост - example.com, он должен быть доступен по адресу http://example.com/robots.txt.
Пожалуйста, обратитесь , где поместить robots.txt для CodeIgniter