Удаление проблемного столбца из кадра данных dask - PullRequest
0 голосов
/ 17 февраля 2019

У меня есть dask фрейм данных с одним проблемным столбцом, который (я считаю) является источником конкретной ошибки, которая выдается каждый раз, когда я пытаюсь что-либо сделать с фреймом данных (будь то head или to_csv)или даже когда я пытаюсь установить подмножество с использованием (другого) столбца. Ошибка, вероятно, из-за несоответствия типов данных и отображается следующим образом:

ValueError: invalid literal for int() with base 10: 'FIPS'

Поэтому я решил удалить этот столбец ('FIPS') используя

df = df.drop('FIPS', axis=1)

Теперь, когда я делаю df.columns, я больше не вижу 'FIPS', что, как я понимаю, означает, что оно действительно было отброшено. Но когда я пытаюсь написать другоестолбец в файл

df.column_a.to_csv('example.csv')

Я продолжаю получать ту же ошибку

ValueError: invalid literal for int() with base 10: 'FIPS'

Я предполагаю, что это как-то связано с ленивыми подходами dask, в результате чего он задерживаетсяпадение, но любой обходной путь был бы очень полезен.

По сути, мне просто нужно извлечь один столбец (column_a) из df.

1 Ответ

0 голосов
/ 17 февраля 2019

попытаться преобразовать в pandas dataframe после удаления

df.compute()

и только потом писать в csv

...