Добавить скребковые значения во 2-й столбец существующего списка с помощью цикла For - PullRequest
Новая
       6

Добавить скребковые значения во 2-й столбец существующего списка с помощью цикла For

0 голосов
/ 08 февраля 2019

Попытка написать сценарий, который будет добавлять значения во второй столбец списка (который очищается), а затем печатать этот список из двух столбцов в CSV.

В настоящее время я использую цикл forчтобы получить значения для 2-го столбца, но не могу понять, как добавить эти значения в качестве 2-го столбца к исходному списку значений, которые я перебираю.

Затем я хотел бы вывести сторону значенийрядом с исходным списком в столбце A и любыми извлеченными значениями справа от них в столбце B.

Столбец A Значение столбца B из исходного списка 1 очищенная ссылка 1 значение из исходного списка 2 очищенное ссылка 2 значение изисходный список 3 очищенная ссылка 3

Я пытался использовать многомерный массив для добавления извлеченных значений ко второму столбцу, например, new_pages [i] [1] .append (new_redirect) для i в диапазоне (length_of_urls) -но он не выводит никаких результатов ни для исходного списка, ни для очищенных результатов. 

 from selenium import webdriver
 from selenium.webdriver.common.keys import Keys
 from selenium.common.exceptions import NoSuchElementException
 import time
 import pandas as pd

 browser = webdriver.Chrome

 browser.get("https://www.url-to-scrape.com/")

 with open('URL/paths.txt', "r") as f:
     list_of_urls = f.readlines()

 search_bar = browser.find_element_by_id('gsc-i-id1')

 new_pages = []

 for item in list_of_urls:
     search_bar.clear()
     search_bar.send_keys(item)
     time.sleep(1)
     try:
         first_link = browser.find_element_by_xpath('//*[@id="___gcse_0"]/div/div/div/div[5]/div[2]/div/div/div[2]/div[1]/div[1]/div/a')
         new_redirect = first_link.get_attribute('href')
         new_pages.append(new_redirect)
     except NameError:
         pass
     except NoSuchElementException:
         pass
     except IndexError:
        pass

browser.close()

df = pd.DataFrame(new_pages, columns=['Old URL','New URL'])
df.to_csv('C:\\Users\\user.name\\Documents\\Exports\\new_pages.csv')
...