Сайт: http://cnpj.info/2609063 не работает curl или wget (Bash Script)

Question

Команда wget или curl не работает для веб-сайта: http://cnpj.info/2609063 и не может вернуть код веб-страницы.

curl -H 'Accept-Encoding: br,gzip,deflate Host: cnpj.info Pragma: no-cache Cache-Control: no-cache Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3 Upgrade-Insecure-Requests: 1 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3 --user-agent 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' -X GET "http://cnpj.info/0101000"

Мы попробовали wget http://cnpj.info/0101000, но ничего не работает должным образом.

Мы ожидаем возврата веб-страницы в формате HTML.

Answer 1

Я обнаружил две проблемы с вашим скриптом.

1. Пропущена одинарная кавычка (') после полей заголовка.
2. После исправления вы получите gzipped html текст. Вывод локона в трубочку даст желаемый результат.

Попробуйте следующее:

curl -H 'Accept-Encoding: br,gzip,deflate Host: cnpj.info Pragma: no-cache Cache-Control: no-cache Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3 Upgrade-Insecure-Requests: 1 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3'
 --user-agent 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' -X GET "http://cnpj.info/0101000" | gunzip -