Scrapy: как проверить сайты, если они содержат определенную строку

Question

Я хочу пройтись по многим веб-сайтам и посмотреть, содержат ли они определенную строку.Например, "бисквит".Использование скрапа

Answer 1

Учитесь и используйте Scrapy .

def parse(self, response):
    if 'biscuit' in response.text:
        print('Found!')
    else:
        print('Not found!')

Scrapy Docs: https://docs.scrapy.org/en/latest/