Поиск по сайту

Question

import urllib
import re
import os
search = (raw_input('[!]Search: '))
site = "http://www.exploit-db.com/list.php?description="+search+"&author=&platform=&type=&port=&osvdb=&cve="   
print site
source = urllib.urlopen(site).read()
founds = re.findall("href='/exploits/\d+",source)
print "\n[+]Search",len(founds),"Results\n"
if len(founds) >=1:
        for found in founds:
                found = found.replace("href='","")
                print "http://www.exploit-db.com"+found
else:
        print "\nCouldnt find anything with your search\n"

При поиске на сайте exploit-db.com у меня только 25 результатов, как я могу перейти на другую страницу или пройти 25 результатов.

Answer 1

Судя по всему, сайт exploit-db.com не позволяет увеличивать размер страницы. Поэтому вам нужно «вручную» пролистать список результатов, повторив urllib.urlopen (), чтобы получить последующие страницы. URL-адрес совпадает с первоначально использованным, плюс параметр &page=n. Внимание, это значение n, по-видимому, основано на 0 (т. Е. & Page = 1 даст секунду страницу)

Answer 2

Легко проверить, просто зайдя на сайт и просматривая URL-адреса при ручной настройке страницы: просто поставьте сразу после ? в URL-адресе page=1&, чтобы просмотреть вторую страницу результатов, или page=2&, чтобы просмотретьна третьей странице и т. д.

Как это вопрос Python?Это (очень элементарный!) Вопрос "скребка экрана".