Не совсем ясно (по крайней мере, для меня), что именно вы хотите сделать, но, насколько я понял, вам нужно создать какой-то сканер, который будет искать ссылки на страницах, перемещаться по сайту.и классифицировать их?
Если это так, перейдите на mechanize , который позволяет вам эмулировать веб-браузер и перемещаться по сайту, легко извлекать и переходить по ссылкам, отправлять формы и т. д. и т. д. и т. д..