По какой-то причине я хочу обслуживать свой robots.txt через скрипт PHP.Я настроил apache так, чтобы запрос файла robots.txt (затрагивает все запросы файлов) приходил к одному скрипту PHP.
Код, который я использую для отрисовки файла robots.txt:
echo "User-agent: wget\n";
echo "Disallow: /\n";
Тем не менее, это не обработка новых строк.Как правильно настроить сервер robots.txt, чтобы поисковые системы (или любой клиент) видели его правильно?Нужно ли отправлять некоторые специальные заголовки для текстовых файлов?
РЕДАКТИРОВАТЬ 1:
Теперь у меня есть следующий код:
header("Content-Type: text/plain");
echo "User-agent: wget\n";
echo "Disallow: /\n";
, который по-прежнему не отображает символы новой строки (см. http://sarcastic -quotes.com / robots.txt ).
РЕДАКТИРОВАТЬ 2:
Некоторые люди упоминали, что это просто замечательно и не отображается в браузере.Было просто любопытно, как это правильно отображает: http://en.wikipedia.org/robots.txt
РЕДАКТИРОВАТЬ 3:
Я скачал и мой, и Википедию через wget, и вижу это:
$ file en.wikipedia.org/robots.txt
en.wikipedia.org/robots.txt: UTF-8 Unicode English text
$ file sarcastic-quotes.com/robots.txt
sarcastic-quotes.com/robots.txt: ASCII text
ЗАКЛЮЧИТЕЛЬНОЕ РЕЗЮМЕ:
Основной проблемой было то, что я не устанавливал заголовок.Однако есть еще одна внутренняя ошибка, которая делает Content-Type html.(это потому, что мой запрос на самом деле обслуживается через внутренний прокси, но это еще одна проблема).
Некоторые комментарии о том, что браузеры не отображают новую строку, были только наполовину правильными -> современные браузеры правильноотображать новую строку, если тип содержимого - текст / обычныйЯ выбираю ответ, который близко соответствовал реальной проблеме и был лишен вышеуказанного слегка вводящего в заблуждение заблуждения :).Спасибо всем за помощь и ваше время!
спасибо
JP