Python не может собираться с дубликатами ключей - PullRequest
Новая
       7

Python не может собираться с дубликатами ключей

0 голосов
/ 30 сентября 2018

Цель этого кода - очистить несколько таблиц данных, превратить их в фреймы данных pandas, удалить некоторые ненужные столбцы и зафиксировать дату.

В каждом фрейме данных есть 2 столбца, первый из которых называется ('Дата выпуска ') в каждом фрейме данных и другом столбце имеют разные имена для каждого фрейма данных.

Затем объедините эти таблицы в один унифицированный фрейм данных со столбцом «Дата выпуска» в качестве индекса, поэтомусобытия, которые происходят в одно и то же время, должны быть в одной строке.

Когда я попробовал этот код: 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
import pandas as pd


class DataEngine:
    def __init__(self):
        self.urls = open(r"C:\Users\Sayed\Desktop\script\sample.txt").readlines()
        self.driver = webdriver.Chrome(r"D:\Projects\Tutorial\Driver\chromedriver.exe")
        self.wait = WebDriverWait(self.driver, 10)

    def title(self):
        names = []
        for url in self.urls:
            self.driver.get(url)
            title = self.driver.find_element_by_xpath('//*[@id="leftColumn"]/h1').text
            names.append(title)
        return names

    def table(self):
        DataFrames = []
        for url in self.urls:
            self.driver.get(url)
            while True:
                try:
                    item = self.wait.until(
                        ec.visibility_of_element_located((By.XPATH, '//*[contains(@id,"showMoreHistory")]/a')))
                    self.driver.execute_script("arguments[0].click();", item)
                except Exception:
                    break

            df = pd.DataFrame(columns=['Release Date', 'Time', 'Actual', 'Forecast', 'Previous'])
            pos = 0
            for table in self.wait.until(
                    ec.visibility_of_all_elements_located((By.XPATH, '//*[contains(@id,"eventHistoryTable")]//tr'))):
                data = [item.text for item in table.find_elements_by_xpath(".//*[self::td]")]
                if data:
                    df.loc[pos] = data[0:5]
                    pos += 1

            df["Date"] = df["Release Date"].apply(lambda date: date[:12]) + " " + df["Time"]
            df.astype('unicode')
            df = df[['Date', 'Actual', 'Forecast', 'Previous', 'Release Date', 'Time']]
            df = df.drop(df.columns[-4:], axis=1).reset_index(drop=True)
            df = df.head(50)
            pd.to_datetime(df['Date'], format='%b %d, %Y %H:%M')
            DataFrames.append(df)
        return DataFrames

    def rename(self):
        FinalDataFrames = []
        tables = self.table()
        names = self.title()
        for name, table in zip(names, tables):
            table.rename(columns={'Date': 'Release Date', 'Actual': name}, inplace=True)
            FinalDataFrames.append(table)
        return FinalDataFrames

    def finalDF(self):
        dfs = self.rename()
        dfs = [dfi.loc[~dfi.index.duplicated(keep='first')] for dfi in dfs]
        df = pd.concat(dfs, axis=1, join='outer').sort_index(ascending=False)
        df.astype('unicode')
        pd.to_datetime(df['Release Date'], format='%b %d, %Y %H:%M')
        df.set_index('Release Date')
        print(df.head())


if __name__ == "__main__":
    DataEngine().finalDF()

Я получил эту ошибку: 

 File "D:/Projects/Tutorial/database.py", line 71, in <module>
    if __name__ == "__main__":

  File "D:/Projects/Tutorial/database.py", line 66, in finalDF
    pd.to_datetime(df['Release Date'], format='%b %d, %Y %H:%M')

File "C:\Users\Sayed\Anaconda3\lib\site-packages\pandas\core\tools\datetimes.py", line 454, in to_datetime
    result = _assemble_from_unit_mappings(arg, errors=errors)

 File "C:\Users\Sayed\Anaconda3\lib\site-packages\pandas\core\tools\datetimes.py", line 520, in _assemble_from_unit_mappings

    raise ValueError("cannot assemble with duplicate keys")

ValueError: cannot assemble with duplicate keys

1 Ответ

0 голосов
/ 30 сентября 2018

Дублированные имена столбцов

Эта ошибка является результатом того, что ваш df как-то дублировал имена столбцов.Исходный код для панд, который генерирует ошибку в этом случае, выглядит следующим образом: 

from pandas import to_timedelta, to_numeric, DataFrame
    arg = DataFrame(arg)
    if not arg.columns.is_unique:
        raise ValueError("cannot assemble with duplicate keys")

Я думаю, что ваш код не работает, потому что имя столбца, на который вы ссылаетесь с помощью pd.to_datetime(df['Release Date'], format='%b %d, %Y %H:%M'), не уникально.

ССЫЛКА на источник панд

...