регулярное выражение для robots.txt скручивание вывода не работает

Question

curl -s http://hostname/robots.txt

Вывод, необходимый для анализа:

User-Agent: *
Disallow: /
User-Agent: Mediapartners-Google*

Мне нужно взять User-Agent: * и проверить, что он начинается с User-agent и заканчивается * Tried curl -s "http://hostname" | grep -i "^User\-Agent:\ \*$", но я ничего не получаю.

Answer 1

Решение

состоит в том, чтобы перенаправить вывод в другой файл и преобразовать его в файл unix.

curl -s http://hostname/robots.txt > /tmp/some_file.txt
dos2unix /tmp/some_file.txt
cat /tmp/some_file.txt | grep -i "^User\-Agent\:\ \*$"