Как получить текст ответа даже при наличии статуса 301?

Question

Я написал сценарий насквозь, чтобы получить текст ответа с веб-страницы. Проблема в том, что мой скрипт всегда печатает None только потому, что есть 301 status.

Можно ли каким-то образом взять контроль над этим состоянием с 301 и распечатать ответ в консоли?

Вот что я пробовал:

import scrapy
from scrapy.crawler import CrawlerProcess

class ResponseSpider(scrapy.Spider):
    name = "transfermarkt"
    handle_httpstatus_list = [301]
    start_urls = ["https://www.transfermarkt.es/guti/profil/spieler/6079"]

    def parse(self,response):
        print(response.text)

if __name__ == "__main__":
    c = CrawlerProcess({'USER_AGENT':'Mozilla/5.0'})
    c.crawl(ResponseSpider)
    c.start()

Что он печатает в данный момент:

2019-04-29 13:39:41 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6024
2019-04-29 13:39:42 [scrapy.core.engine] DEBUG: Crawled (301) <GET https://www.transfermarkt.es/guti/profil/spieler/6079> (referer: None)

2019-04-29 13:39:43 [scrapy.core.engine] INFO: Closing spider (finished)
2019-04-29 13:39:43 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 220,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 511,
 'downloader/response_count': 1,
 'downloader/response_status_count/301': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 4, 29, 7, 39, 43, 50813),
 'log_count/DEBUG': 1,
 'log_count/INFO': 9,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2019, 4, 29, 7, 39, 41, 869745)}
2019-04-29 13:39:43 [scrapy.core.engine] INFO: Spider closed (finished)

Answer 1

В этом случае:
запрос на https://www.transfermarkt.es/guti/profil/spieler/6079 (URL A - 301 ответ) перенаправляется на https://www.transfermarkt.es/zeljko-kalac/profil/spieler/6079 (URL B -200 ответ)

Scrapy обрабатывает статусы 3xx по умолчанию, используя RedirectMiddleware ( документы , код )
Для анализа веб-страницы B вам нужно просто удалить handle_httpstatus_list = [301] из вашего кода

В большинстве случаев 301 ответ не содержит HTML-код.Все соответствующие данные содержатся в заголовках ответов.
Если вам нужно распечатать соответствующие данные из 301 ответа URL A :

1. Не удалять handle_httpstatus_list = [301]
2. Использовать response.headers данныевместо response.text