Выполните итерацию всех идентификаторов и элементов таблицы искателя в качестве кадра данных в Python - PullRequest
0 голосов
/ 01 февраля 2020

Я хочу щелкнуть по каждому элементу для каждой страницы из этой ссылки , затем отсканировать всю информацию из этой страницы в красном круге и затем сохранить в формате данных.

Для того чтобы l oop всех страниц, мне нужно перебрать все Id s во второй ссылке, но я не знаю, где их можно получить.

https://www.pudong.gov.cn/shpd/InfoOpen/InfoDetail.aspx?Id=956244

enter image description here

Я начинаю со следующего кода, но получаю ответ о том, что не найдена таблица, которую я могу визуально увидеть из исходного кода:

Ouput:

/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)
Traceback (most recent call last):

  File "<ipython-input-13-d95369a5d235>", line 12, in <module>
    df = pd.read_html(str(table))[0]

  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/io/html.py", line 915, in read_html
    keep_default_na=keep_default_na)

  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/io/html.py", line 749, in _parse
    raise_with_traceback(retained)

  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/compat/__init__.py", line 385, in raise_with_traceback
    raise exc.with_traceback(traceback)

ValueError: No tables found

Кто-то может помочь? Спасибо.

...