Я пытаюсь извлечь определенные текстовые поля из этого сайта, но плохо знакомы с угловым. Я использую селен для создания этого веб-скребка. Я заметил, что точное текстовое значение не хранится в HTML-коде. Может ли кто-нибудь помочь или дать несколько советов по этому поводу. Я пытался использовать:
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
Но не получил прогресса. Спасибо :)
Это один из способов, которым я пытался извлечь текст:
def csc():
alpah_list = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P"]
indexOfAlpha = 0
indexOfSheet = 2
for x in range(2,4):
y = x + 2
driver.implicitly_wait(20)
ranSleep()
driver.find_element_by_xpath('/html/body/div[1]/div[2]/div/div/div[1]/div[1]/div[2]/div/div/div/div[2]/div[2]/div/div['+ str(x) +']/div/div/div[6]/a').click()
driver.implicitly_wait(20)
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), str(driver.find_element(By.CSS_SELECTOR("input[class = 'edited_field ng-pristine ng-untouched ng-valid ng-not-empty'][ng-model = 'tab.content.site.name']"))))
ranSleep()
driver.find_element_by_xpath('/html/body/div[1]/div[2]/div/div/ul/li[2]/a/span').click()
ranSleep()
indexOfSheet += 1
Но я получаю эту ошибку на терминале
Traceback (most recent call last):
File "selTest.py", line 88, in <module>
csc()
File "selTest.py", line 44, in csc
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), driver.find_element(By.cssSelector("input[class = 'edited_field ng-pristine ng-untouched ng-valid ng-not-empty'][ng-model = 'tab.content.site.name']")))
AttributeError: type object 'By' has no attribute 'cssSelector'
Shahans-MacBook-Pro:WebScraping Shahan$ python3 selTest.py
Traceback (most recent call last):
File "selTest.py", line 88, in <module>
csc()
File "selTest.py", line 44, in csc
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), driver.find_element(By.CSS_SELECTOR("input[class = 'edited_field ng-pristine ng-untouched ng-valid ng-not-empty'][ng-model = 'tab.content.site.name']")))
TypeError: 'str' object is not callable
Shahans-MacBook-Pro:WebScraping Shahan$ python3 selTest.py
Traceback (most recent call last):
File "selTest.py", line 88, in <module>
csc()
File "selTest.py", line 44, in csc
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), str(driver.find_element(By.CSS_SELECTOR("input[class = 'edited_field ng-pristine ng-untouched ng-valid ng-not-empty'][ng-model = 'tab.content.site.name']"))))
TypeError: 'str' object is not callable
P.S. Извините, я не смогу открыть общий доступ к сайту, так как для него требуется личный вход.
<input class="edited_field ng-pristine ng-untouched ng-valid ng-not-empty" type="text" ng-model="tab.content.site.name" ng-disabled="!tab.content.updateBtnPermission" disabled="disabled">
Фрагмент текста, который я хочу извлечь с HTML и угловым кодом
Ошибка для Qharr
Это код, который я написал на основе комментария Qharr
def csc():
alpah_list = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P"]
indexOfAlpha = 0
indexOfSheet = 2
for x in range(2,4):
y = x + 2
driver.implicitly_wait(20)
ranSleep()
driver.find_element_by_xpath('/html/body/div[1]/div[2]/div/div/div[1]/div[1]/div[2]/div/div/div/div[2]/div[2]/div/div['+ str(x) +']/div/div/div[6]/a').click()
driver.implicitly_wait(20)
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), driver.find_element_by_css_selector('input.edited_field.ng-pristine.ng-untouched.ng-valid.ng-not-empty'))
ranSleep()
driver.find_element_by_xpath('/html/body/div[1]/div[2]/div/div/ul/li[2]/a/span').click()
ranSleep()
indexOfSheet += 1
Traceback (most recent call last):
File "selTest.py", line 88, in <module>
csc()
File "selTest.py", line 44, in csc
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), str(driver.find_element(By.CSS_SELECTOR("input[class = 'edited_field ng-pristine ng-untouched ng-valid ng-not-empty'][ng-model = 'tab.content.site.name']"))))
TypeError: 'str' object is not callable
Shahans-MacBook-Pro:WebScraping Shahan$ python3 selTest.py
Traceback (most recent call last):
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 469, in _write
f = float(token)
TypeError: float() argument must be a string or a number, not 'WebElement'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "selTest.py", line 88, in <module>
csc()
File "selTest.py", line 44, in csc
worksheet.write(alpah_list[indexOfAlpha] + str(indexOfSheet), driver.find_element_by_css_selector('input.edited_field.ng-pristine.ng-untouched.ng-valid.ng-not-empty'))
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 67, in cell_wrapper
return method(self, *args, **kwargs)
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 408, in write
return self._write(row, col, *args)
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 474, in _write
raise TypeError("Unsupported type %s in write()" % type(token))
TypeError: Unsupported type <class 'selenium.webdriver.remote.webelement.WebElement'> in write()