Получить таблицы предыдущей и следующей страниц по пагинации URL в Python

Question

Я пытаюсь многократно сканировать таблицы с каждой страницы на этом веб-сайте . С помощью приведенного ниже кода я могу извлечь только одну страницу:

Вывод:

   序号  ...      竣工备案日期
0   1  ...  2020-01-23
1   2  ...  2020-01-23
2   3  ...  2020-01-23
3   4  ...  2020-01-23
4   5  ...  2020-01-23

[5 rows x 9 columns]

Любые идеи, как получить содержимое каждой страницы, нажав кнопку "Следующая страница" на веб? Спасибо.

Полный код:

Выход:

Traceback (most recent call last):

  File "<ipython-input-48-9f217cba563e>", line 28, in <module>
    df = pd.read_html(str(table))[0]

  File "/Users/x/anaconda3/lib/python3.6/site-packages/pandas/io/html.py", line 987, in read_html
    displayed_only=displayed_only)

  File "/Users/x/anaconda3/lib/python3.6/site-packages/pandas/io/html.py", line 815, in _parse
    raise_with_traceback(retained)

  File "/Users/x/anaconda3/lib/python3.6/site-packages/pandas/compat/__init__.py", line 404, in raise_with_traceback
    raise exc.with_traceback(traceback)

ValueError: No tables found

Answer 1

Вы можете использовать data ниже, чтобы получить страницу по номеру и другим параметрам, используя POST. Измените currentPage номер на go на следующую или предыдущую страницу. Используя селектор td.Normal css, вы можете получить общие результаты.

data = {
  'filter_LIKE_GCMC': '',
  'filter_LIKE_JSDWMC': '',
  'filter_LIKE_SGDWMC': '',
  'filter_LIKE_BABH': '',
  'currentPage': '1',
  'pageSize': '15',
  'OrderByField': '',
  'OrderByDesc': ''
}

website_url = requests.post('http://bjjs.zjw.beijing.gov.cn/eportal/ui?pageId=308894', data=data).text