По моему мнению, по умолчанию RangeIndex
в X_train.index
нет, поэтому нужно создать его до concat
:
X_train = X_train.reset_index(drop=True)
Другое решение - добавить параметр index
для одинаковых индексов в обоих DataFrame
с:
diff_df2 = pd.Dataframe(np.zeros((X_train.shape[0], len(diff_dummy2))),
columns=diff_dummy2,
index= X_train.index)