Есть ли возможность разбить файл Excel на фрагменты на основе столбцов?

Question

У меня есть файл Excel с 5000 строками, каждая строка - 17000 столбцов, есть любой вариант разделить этот файл с помощью python / pandas, потому что сейчас, когда я пытаюсь прочитать excel, он возвращает MemoryError If я мог как-то прочитать файл, я могу уменьшить столбцы

drop(list(myFile.filter(regex=r'(x|y)')))

Может кто-нибудь мне поможет, как это сделать?

Answer 1

Посмотрите на параметр usecols в read_excel

Answer 2

in pandas, вам нужно установить параметр и вы должны указать типы данных для ваших столбцов csv. Например,

low_memory = False

df = pd.read_csv("YOURFILENAME.csv", delimiter = '|',error_bad_lines=False, 
                 index_col=False, 
                 dtype='unicode') # , # This or the other one
                 #dtype={"user_id": int, "username": "string"}, low_memory = False)

Лучше всего указывать типы данных для ваших отдельных столбцов, на случай, если вы не можете, потому что существует множество столбцы в вашем случае. Вы можете просто использовать Try, за исключением второго столбца, и перебирать значения (если строка имеет это string, если int8 имеет int 8 и если int64 имеет то же самое)

Edit: указан Unicode в случай read_excel