текстовый файл с переводом строки в панды dataframe

Question

У меня огромный текстовый файл, который выглядит следующим образом:

19990613,1\n19921209,1\n19940414,1\n19900506,1\n19910521,1\n19881124,0\n19760730,1\n19711206,1\n19890303,1\n19780127,0\n19860207

желаемый фрейм данных:

date          gender
1999-06-13      1
1992-12-09      1

и т. Д.

Я пробовал читать строкив Python, однако, это дает мне превышенную скорость передачи данных IOPub.

Если я не могу преобразовать это прямо в df, хорошо читать построчно в список, затем в df.

Answer 1

У меня работает lineterminator, names параметр:

df = pd.read_csv('text.txt', lineterminator='\\', names=['date','gender'])

Затем удалите n и выполните разбор по времени:

df['date'] = pd.to_datetime(df['date'].str.lstrip('n'))
print (df)
         date  gender
0  1999-06-13       1
1  1992-12-09       1
2  1994-04-14       1
3  1990-05-06       1
4  1991-05-21       1
5  1988-11-24       0
6  1976-07-30       1
7  1971-12-06       1
8  1989-03-03       1
9  1978-01-27       0
10 1986-02-07       0