Я только начинаю со Scrapy и Python, и следую учебному пособию, но застрял. Я смог использовать оболочку для получения списка ссылок со страницы, как показано ниже:
>>> response.css('li').xpath('a/@href').getall()
дает мне:
'/shop-online/542/fragrances', '/shop-online/81/vitamins', '/shop-online/257/beauty', '/shop-online/665/skin-care', '/shop-online/648/cosmetics', '/shop-online/517/weight-loss', '/shop-online/20/baby-care', '/shop-online/89/sexual-health', '/shop-online/198/smoking-deterrents', '/shop-online/3240/clearance', '/prescriptions', '/shop-online/258/medicines', '/shop-online/1093/cold-flu', '/shop-online/PS-1755/all-fish-oil-supplements', '/shop-online/159/oral-hygiene-and-dental-care', '/shop-online/792/household', '/shop-online/129/hair-care', '/shop-online/1255/sports-nutrition', '/bestsellers', '/categories', 'https://www.chemistwarehouse.hk', '/', '#', '/login', '/youraccount', '#', '/aboutus', '/aboutus/shipping', '/shop-online/542/fragrances', '/shop-online/81/vitamins', '/shop-online/257/beauty', '/shop-online/665/skin-care', '/shop-online/648/cosmetics', '/shop-online/517/weight-loss', '/shop-online/20/baby-care', '/shop-online/89/sexual-health', '/shop-online/198/smoking-deterrents', '/prescriptions', '/shop-online/258/medicines', '/shop-online/1093/cold-flu', '/shop-online/PS-1755/all-fish-oil-supplements', '/shop-online/159/oral-hygiene-and-dental-care', '/shop-online/792/household', '/shop-online/129/hair-care', '/shop-online/1255/sports-nutrition', '/bestsellers']
То, что я хочу сделать, по крайней мере пока использовать оболочку (и затем написать ее сценарий), это уметь анализировать любые ссылки, которые не содержат shop-online, а затем очищать соответствующие URL, это будет www..website / ссылка, которую я очистил
Но я не уверен, как это сделать. Я знаю, что есть выражения регулярных выражений, которые вы можете использовать, но я не уверен, как их применять, и даже если бы я мог, я не уверен, как потом сказать scrapy перебирать то, что я нашел, и очищать эти страницы ?