Создайте буфер внутри цикла для просмотра веб-страниц с помощью Python - PullRequest
0 голосов
/ 18 апреля 2019

Я пытаюсь реализовать код Python, который запускает просмотр веб-страниц для того же веб-сайта и извлекает только заголовок и печатает как заголовок, так и адрес в текстовом файле.Код работает нормально, однако мне нужно увеличить диапазон i с 24 до огромного значения.В связи с этим необходимо создавать отдельные файлы внутри цикла для.

Есть идеи, как можно добавить цикл for для разделения полученных сайтов на отдельные файлы?

for i in range(0,24):

    url_get = urllib3.PoolManager().request('GET', "http://www.MyWebSite.com/"+str(i)).data
    tree = html.fromstring(url_get)
    lxml_soup = tree.xpath('/html/head/title/text()')[0]
    f=open('File 1')
    f.write(lxml_soup)
    f.write(",")
    f.write("http://www.MyWebSite.com/"+str(i))
    f.write("\n")
    f.close()

#The out put should be 5 files contained 5 sites each.

    f=open('File 1') #add 5 sites on each file.

    Tittle 0,http://www.MyWebSite.com/0
    Tittle 1,http://www.MyWebSite.com/1
    Tittle 2,http://www.MyWebSite.com/2
    Tittle 3,http://www.MyWebSite.com/3
    Tittle 4,http://www.MyWebSite.com/4

    f=open('File 2')
    Tittle 5,http://www.MyWebSite.com/5
    Tittle 6,http://www.MyWebSite.com/6
    Tittle 7,http://www.MyWebSite.com/7
    Tittle 8,http://www.MyWebSite.com/8
    Tittle 9,http://www.MyWebSite.com/9
    ...
    f=open('File 5')
    Tittle 20,http://www.MyWebSite.com/20
    Tittle 21,http://www.MyWebSite.com/21
    Tittle 22,http://www.MyWebSite.com/22
    Tittle 23,http://www.MyWebSite.com/23
    Tittle 24,http://www.MyWebSite.com/24

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...