Панды объединяют кадры данных с циклом for - PullRequest
Новая
       23

Панды объединяют кадры данных с циклом for

0 голосов
/ 28 января 2019

Я пытаюсь получить таблицы с веб-сайта.URL веб-сайта содержит даты, поэтому мне придется перебирать даты, чтобы получить исторические данные.Я генерирую даты следующим образом: 

import datetime

start = datetime.datetime.strptime("26-09-2016", "%d-%m-%Y")
end = datetime.datetime.strptime("30-09-2016", "%d-%m-%Y")
date_generated = [start + datetime.timedelta(days=x) for x in range(0, (end-start).days)]

dates_list = []
for date in date_generated:
    txt = str(str(date.day) + '.' + str(date.month) + '.' + str(date.year))
    dates_list.append(txt)

dates_list

После этого я запускаю приведенный ниже код для объединения всех таблиц: 

for i in range(0, 3):
    allURL = 'https://www.uzse.uz/trade_results?date=' + dates_list[i] + '&locale=en&mkt_id=ALL&page=%d'

    ndf_list = []
    for i in range(1, 100):
        url = allURL %i
        if pd.read_html(url)[0].empty:
            break
        else :
            ndf_list.append(pd.read_html(url)[0])

    ndf = pd.concat(ndf_list)
    ndf.insert(0, 'Date', dates_list[i])

mdf = pd.concat(ndf, ignore_index = True)
mdf

Однако это не работает, и я получаю:

TypeError: first argument must be an iterable of pandas objects, you passed an object of type "DataFrame"

Я не понимаю, что я делаю неправильно.Я ожидаю, что у меня будет один стол с 26, 27 и 28 сентября.

Пожалуйста, помогите.

1 Ответ

0 голосов
/ 28 января 2019

Не уверен насчет последних строк, но я бы подошел к этому так 

import datetime
import pandas as pd

start = datetime.datetime.strptime("26-09-2016", "%d-%m-%Y")
end = datetime.datetime.strptime("30-09-2016", "%d-%m-%Y")
date_generated = [
    start + datetime.timedelta(days=x) for x in range(0, (end-start).days)]

dates_list = []
for date in date_generated:
    txt = str(str(date.day) + '.' + str(date.month) + '.' + str(date.year))
    dates_list.append(txt)

dates_list

ndf = pd.DataFrame()  # create empty ndf
for i in range(0, 3):
    allURL = 'https://www.uzse.uz/trade_results?date=' + \
        dates_list[i] + '&locale=en&mkt_id=ALL&page=%d'

    # ndf_list = []
    for j in range(1, 100):
        url = allURL % j
        if pd.read_html(url)[0].empty:
            break
        else:
            # ndf_list.append(pd.read_html(url)[0])
            chunk = pd.read_html(url)[0]
            chunk['Date'] = dates_list[i] # Date is positioned at last position, let's fix that
            # get a list of all the columns
            cols = chunk.columns.tolist()
            # rearrange the columns, move the last element (Date) to the first position
            cols = cols[-1:] + cols[:-1]
            # reorder the dataframe
            chunk = chunk[cols]
            ndf = pd.concat([ndf, chunk])

    # ndf = pd.concat(ndf_list)

# ndf.insert(0, 'Date', dates_list[i])

print(ndf)
# mdf = pd.concat(ndf, ignore_index=True)
# mdf
...