Я пытаюсь вычеркнуть заголовок, но он возвращается пустым, если это указанная c страница сайта, если это главная страница, которую он возвращает нормально:
<html lang="en"><head>
<title>Reclame Aqui - Pesquise antes de comprar. Reclame. Resolva</title><meta data-n-head="1" charset="utf-8"><meta data-n-head="1" data-hid="og:title" name="og:title" content="Reclame Aqui - Pesquise antes de comprar. Reclame. Resolva"><meta data-n-head="1" data-hid="og:description" name="Pesquise reputação de empresas antes de comprar. Se tiver problema, reclame e resolva rápido. Toda empresa tem problema, boa é aquela que resolve." content="Pesquise reputação de empresas antes de comprar. Se tiver problema, reclame e resolva rápido. Toda empresa tem problema, boa é aquela que resolve."><meta data-n-head="1" data-hid="og:image" content="https://s3.amazonaws.com/raichu-beta/reclameaqui-facebook.png","><meta data-n-head="1" data-hid="mobile-web-app-capable" name="mobile-web-app-capable" content="yes"><meta data-n-head="1" data-hid="apple-mobile-web-app-title" name="apple-mobile-web-app-title" content="pea-webapp"><meta data-n-head="1" data-hid="author" name="author" content="Tonielton Mota">
</head>
</html>
Result Main Страница:
результат scrapy shell
Когда я выполняю тот же процесс на указанной странице c, происходит следующее: URL: https://www.reclameaqui.com.br/empresa/inb-telecom/sobre/
<html>
<head>
<meta charset="utf-8"> <title ng-bind="page.title" class="ng-binding">Inb Telecom - Reclame Aqui</title> <meta name="description" content="Veja a reputação da empresa Inb Telecom, registre reclamação e solucione seu problema. O produto atrasou, o serviço falhou? Reclame Aqui"> <meta name="keywords" content="Inb Telecom, , reclamação, reclamar, reclame aqui, SAC, atendimento, atraso, atrasou, devolução, propaganda enganosa, entrega, assistência técnica, cancelamento, devolução, troca, problema, demora, defeito, cobrança indevida, mercadoria, cliente, consumidor, direito do consumidor, atendente"> <!-- <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no"> --> <!-- end ngIf: page.canonicalLink --> <!-- Windows Phone --> <!-- iOS Safari --> </head></html>
результат Scrap Shell