Я пытаюсь собирать данные с веб-страниц с нескольких страниц. Проблема в том, что я хочу переместить столбцы в строки, чтобы получить очищенные данные в виде DataFrame.
Я проверил этот вопрос и применил его к моему python коду, но он не работал должным образом.
Вот мой код ниже:
browser.get('https://fortune.com/global500/2019/walmart')
data =[]
i = 1
while True:
table = browser.find_element_by_css_selector('tbody')
if i > 2:
break
try:
print("Scraping Page no. " + str(i))
i = i + 1
for row in table.find_elements_by_css_selector('tr'):
cols = [cell.text for cell in row.find_elements_by_css_selector('td.dataTable__value--3n5tL.dataTable__valueAlignLeft--3uvNx')]
colsT = data.append(np.array(cols).T.tolist())
try:
WebDriverWait(browser, 5).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "a > span.singlePagination__icon--2KbZn"))).click()
time.sleep(3)
except TimeoutException:
break
except Exception as e:
print(e)
break
data1 = pd.DataFrame(data)
print(data1)
Вот вывод кода, который я запускаю:
Scraping Page no. 1
Scraping Page no. 2
0
0 C. Douglas McMillon
1 Retailing
2 General Merchandisers
3 Bentonville, Ark.
4 -
5 25
6 2,200,000
7 Dai Houliang
8 Energy
9 Petroleum Refining
10 Beijing
11 -
12 21
13 619,151
И вот как я хочу, чтобы он был:
0 C. Douglas McMillon Retailing General Merchandisers Bentonville, Ark. - ...
1 Dai Houliang Energy Petroleum Refining Beijing - ...
Любые предложения или исправления будут ценится здесь.