Найти уникальную временную метку в массиве разных размеров

Question

У меня многоиндексный пандас, который выглядит следующим образом:

df["Name"] = ["A","B","C","D"]
df["Quantity"] = [2,1.2,1.3,3]
df["Date1"] = ["2019-04-04","2019-08-08","2018-08-30","2017-03-02"]
df["Date2"] = ["2019-05-16","2020-05-01","2018-09-13",pd.DatetimeIndex(['2018-10-18', '2018-12-13'])]

df
Name Quantity  Date1          Date2
 A     2       2019-04-04   2019-05-16
 B     1.2     2019-08-08   2020-05-01
 C     1.3     2018-08-30   2018-09-13
 D     3       2017-03-02   DatetimeIndex('2018-10-18', '2018-12-13'])

Я хочу выбрать уникальные значения в столбцах Date1 и Date2. Конечный результат должен выглядеть следующим образом:

Name  2017-03-02  2018-08-30  2018-09-13  2018-10-18  2018-12-13  2019-04-04  2019-05-16  2019-08-08  2020-05-01
A                                                                    2                      
B                                                                                           1.2
C                    1.3        
D       2

Я пытался разбить столбцы Date1, Date2, но он не разбивает массив DatetimeIndex

df[["Date1","Date2"]].values.ravel()

[Out]
array(['2019-04-04', '2019-05-16', '2019-08-08', '2020-05-01',
       '2018-08-30', '2018-09-13', '2017-03-02',
       DatetimeIndex(['2018-10-18', '2018-12-13'], dtype='datetime64[ns]', freq=None)],
      dtype=object)

Кроме того, как я могусопоставить даты со значениями в столбце количества?