Эта функция никогда не собирается ничего делать, потому что первое , если условное:
if response.url is 'http://www.ccdy.cn/zhuanti/' and response.url is 'http://www.ccdy.cn/difang/':
, всегда будет False, и поэтому оно никогда не войдет в , если кодовый блок.Может быть, вы хотите ИЛИ вместо И?
... или, может быть, ваш отступ неправильный или, по крайней мере, пришел ко мне неправильно.В любом случае, , если не имеет смысла, потому что оно, очевидно, всегда будет ложным.