ошибка панд при использовании .append в цикле на фрейме данных с дублирующимися столбцами

Question

Я получаю следующие ошибки при попытке добавить строку из одного фрейма данных в мой фрейм основных данных.

newDf = trainFrame.append(bDriftFeed, ignore_index=True)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py", line 6673, in append
    other = other.reindex(combined_columns, copy=False)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/series.py", line 3734, in reindex
    return super(Series, self).reindex(index=index, **kwargs)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/generic.py", line 4356, in reindex
    fill_value, copy).__finalize__(self)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/generic.py", line 4374, in _reindex_axes
    copy=copy, allow_dups=False)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/generic.py", line 4490, in _reindex_with_indexers
    copy=copy)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/internals/managers.py", line 1224, in reindex_indexer
    self.axes[axis]._can_reindex(indexer)

  File "/anaconda3/lib/python3.6/site-packages/pandas/core/indexes/base.py", line 3086, in _can_reindex
    raise ValueError("cannot reindex from a duplicate axis")

Мой фрейм основных данных был настроен с этими столбцами

columns = ['CartAge1', 'Hct', 'zscore', 'cpk', 'moving2', 'moving5', 'Na', 'zscore', 'cpk', 'moving2', 'moving5', 'K', 'zscore', 'cpk', 'moving2', 'moving5', 'Ca', 'zscore', 'cpk', 'moving2', 'moving5', 'Cl', 'zscore', 'cpk', 'moving2', 'moving5', 'pO2', 'zscore', 'cpk', 'moving2', 'moving5', 'pH', 'zscore', 'cpk', 'moving2', 'moving5', 'Glu', 'zscore', 'cpk', 'moving2', 'moving5', 'pCO2', 'zscore', 'cpk', 'moving2', 'moving5', 'Target']

trainFrame = pd.DataFrame(columns=columns)

Я пытаюсь перебрать csv-файлы в каталоге, обработать данные в фрейм данных одной строкой, а затем добавить эту строку в мой фрейм основных данных.ошибка возникает только после обработки примерно 11 файлов.

Из того, что я прочитал, эта ошибка обычно возникает при использовании повторяющихся имен столбцов.Имена столбцов должны иметь повторяющиеся значения для моего приложения.

Есть ли какие-либо известные обходные пути для моей проблемы?