Я построил паука, который делает скребки второго уровня с помощью скрапа. Сначала он очищает URL профиля из результатов поиска. Затем он очищает некоторую информацию, такую как веб-адрес, телефон, имя контакта из URL-адреса профиля.
Теперь я хочу расширить это до третьего уровня, где он очищает weburl от URL профиля и получает идентификаторы электронной почты.
Одной из проблем здесь является то, что идентификатор электронной почты не находится в предсказуемом месте на веб-сайтах. Это может быть на любых страницах или в разделе. Таким образом, паук должен сам определить страницу, на которой находится идентификатор электронной почты, и получить данные.
Как это сделать?