, поэтому я пытаюсь запустить первоначальный паук веб-сканера, и я получаю сообщение об ошибке AttributeError: 'bytes' object has no attribute 'getheader'.Как метод в классе паука, я определил функцию для анализа и извлечения html (в строках), используя getheader() для доступа к информации заголовка, но я все еще продолжаю получать сообщение об ошибке.Какой атрибут я могу использовать вместо getheader() или get(), чтобы сделать эту работу?Пожалуйста помоги.вот код:
@staticmethod
def gather_links(page_url):
html_string=''
response=urllib.request.urlopen(page_url, context=ctx).read()
if 'text/html' in response.getheader('Content Type'):
html_bytes= response.read()
html_string=html_bytes.decode()
finder= LinkFinder(spider.base_url, page_url)
finder.feed(html_string)
#except:
# print('Error: Can not crawl page')
# return set()