В Spark 1.6, Как прочитать CSV-файл с дублированным именем столбца

Question

Я не могу найти решение для чтения файла CSV, в котором имя столбца повторяется дважды, но при чтении файла CSV выдает ошибку, сообщающую повторяющиеся имена столбцов

Есть ли способ справиться с этим в искре, не изменяя файл CSV?.

Мои данные CSV выглядят так, как они разделены табуляцией (\ t) и некоторыми дополнительными пробелами в каждом столбце.

col1    col2  col3
  2020  100   sometext  

Answer 1

Вы также можете попробовать использовать метод textfile для чтения CSV-файлов, а затем преобразовать их в DF или использовать их как RDD после разделения и отображения их обратно!

Надеюсь, это работает!