Ошибка PANDAS ValueError: невозможно переиндексировать дублирующую ось - Попытка заполнить отсутствующие даты нулями

Question

У меня есть CSV-файл, который я импортировал. Я проанализировал даты и установил индекс для этого поля анализируемой даты

importColumnFields = ['Startdate','Start Time','Data']

pd1 = pd.read_csv(readpath + "/TESTCSV1.csv", index_col=None, usecols=importColumnFields, parse_dates=[['Startdate','Start Time']]).set_index('Startdate_Start Time')

pd1         
        Startdate_Start Time, Data          
        2019-01-01 00:00:00,  2.971
        2019-01-01 01:00:00,  2.362
        2019-01-01 02:00:00,  2.241
        2019-01-01 03:00:00,  2.763
        2019-01-01 04:00:00,  2.590
        ... ... ... ... ...
        2019-09-16 06:00:00,  2.620
        2019-09-16 07:00:00,  2.644
        2019-09-16 08:00:00,  2.684
        2019-09-16 09:00:00,  2.968
        2019-09-16 10:00:00,  2.720

Мне нужно переиндексировать даты с 1 января 2019 года по 31 декабря 2019 года. Там, где нет данных (то есть отсутствуют данные)интервалы или даты в будущем), я хочу заполнить их как 0.

newDateIndex = pd.date_range(start='1/1/2019 00:00:00',end='12/31/2019 23:00:00', freq='H')

newDateIndex

DatetimeIndex(['2019-01-01 00:00:00', '2019-01-01 01:00:00',
               '2019-01-01 02:00:00', '2019-01-01 03:00:00',
               '2019-01-01 04:00:00', '2019-01-01 05:00:00',
               '2019-01-01 06:00:00', '2019-01-01 07:00:00',
               '2019-01-01 08:00:00', '2019-01-01 09:00:00',
               ...
               '2019-12-31 14:00:00', '2019-12-31 15:00:00',
               '2019-12-31 16:00:00', '2019-12-31 17:00:00',
               '2019-12-31 18:00:00', '2019-12-31 19:00:00',
               '2019-12-31 20:00:00', '2019-12-31 21:00:00',
               '2019-12-31 22:00:00', '2019-12-31 23:00:00'],
              dtype='datetime64[ns]', length=8760, freq='H')

reindexed_pd1 = pd1.reindex(newDateIndex,fill_value=0)

Когда я использую pd.reindex (), я получаю ValueError: не могу переиндексировать с дублирующейся оси

Я сбит с толку, потому что, когда я обращаюсь к документации Pandas (https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.reindex.html),, это показывает что-то похожее:

>>> date_index = pd.date_range('1/1/2010', periods=6, freq='D')
>>> df2 = pd.DataFrame({"prices": [100, 101, np.nan, 100, 89, 88]},
...                    index=date_index)
>>> df2
            prices
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-04   100.0
2010-01-05    89.0
2010-01-06    88.0

>>> date_index2 = pd.date_range('12/29/2009', periods=10, freq='D')
>>> df2.reindex(date_index2)
            prices
2009-12-29     NaN
2009-12-30     NaN
2009-12-31     NaN
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-04   100.0
2010-01-05    89.0
2010-01-06    88.0
2010-01-07     NaN

Я не знаю, что такое моя "двойная ось"?

Answer 1

Если вы измените пример документа Pandas, добавив повторяющиеся даты, вы получите ту же ошибку.

date_index = pd.date_range('1/1/2010', periods=3, freq='D').append(pd.date_range('1/1/2010', periods=3, freq='D'))

df = pd.DataFrame({"prices": [100, 101, np.nan, 100, 89, 88]}, index=date_index)

            prices
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-01   100.0
2010-01-02    89.0
2010-01-03    88.0

date_index2 = pd.date_range('12/29/2009', periods=10, freq='D')
df.reindex(date_index2)


ValueError: cannot reindex from a duplicate axis