Python-код не извлекает все данные таблицы (веб-очистка) - PullRequest
Новая
       16

Python-код не извлекает все данные таблицы (веб-очистка)

0 голосов
/ 10 июня 2019

Я пытаюсь создать веб-страницу 'https://www.timeanddate.com/time/dst/2018a.html', чтобы получить информацию из основной таблицы (3 столбца - Дата, Страна, Изменение местного времени). Я использую следующий код, но я получаю только столбцы Дата и Страна в моей финальной таблице. Помогите, пожалуйста, найти столбец «Изменение местного времени». 

BASE_URL=['https://www.timeanddate.com/time/dst/2018a.html']

def table_to_2d(table_tag):
    rowspans = []  # track pending rowspans
    rows = table_tag.find_all('tr')

    # first scan, see how many columns we need
    colcount = 0
    for r, row in enumerate(rows):
        cells = row.find_all(['th', 'td'], recursive=False)
        # count columns (including spanned).
        # add active rowspans from preceding rows
        # we *ignore* the colspan value on the last cell, to prevent
        # creating 'phantom' columns with no actual cells, only extended
        # colspans. This is achieved by hardcoding the last cell width as 1. 
        # a colspan of 0 means “fill until the end” but can really only apply
        # to the last cell; ignore it elsewhere. 
        colcount = max(
            colcount,
            sum(int(c.get('colspan', 1)) or 1 for c in cells[:-1]) + len(cells[-1:]) + len(rowspans))
        # update rowspan bookkeeping; 0 is a span to the bottom. 
        rowspans += [int(c.get('rowspan', 1)) or len(rows) - r for c in cells]
        rowspans = [s - 1 for s in rowspans if s > 1]

    # it doesn't matter if there are still rowspan numbers 'active'; no extra
    # rows to show in the table means the larger than 1 rowspan numbers in the
    # last table row are ignored.

    # build an empty matrix for all possible cells
    table = [[None] * colcount for row in rows]

    # fill matrix from row data
    rowspans = {}  # track pending rowspans, column number mapping to count
    for row, row_elem in enumerate(rows):
        span_offset = 0  # how many columns are skipped due to row and colspans 
        for col, cell in enumerate(row_elem.find_all(['td', 'th'], recursive=False)):
            # adjust for preceding row and colspans
            col += span_offset
            while rowspans.get(col, 0):
                span_offset += 1
                col += 1

            # fill table data
            rowspan = rowspans[col] = int(cell.get('rowspan', 1)) or len(rows) - row
            colspan = int(cell.get('colspan', 1)) or colcount - col
            # next column is offset by the colspan
            span_offset += colspan - 1
            value = cell.get_text()
            for drow, dcol in product(range(rowspan), range(colspan)):
                try:
                    table[row + drow][col + dcol] = value
                    rowspans[col + dcol] = rowspan
                except IndexError:
                    # rowspan or colspan outside the confines of the table
                    pass

        # update rowspan bookkeeping
        rowspans = {c: s - 1 for c, s in rowspans.items() if s > 1}

    return table

1 Ответ

0 голосов
/ 10 июня 2019

Просто используйте панд 

import pandas as pd

table = pd.read_html('https://www.timeanddate.com/time/dst/2018a.html')[0]
print(table)

Несколько лет: 

import pandas as pd

years = [2017, 2018, 2019]

for year in years:
    table = pd.read_html('https://www.timeanddate.com/time/dst/{}a.html'.format(year))[0]
    print(table)
...