Панды: превратить колонку в стол

Question

У меня есть таблица, которая на самом деле две таблицы.Каждая строка в таблице является строкой из таблицы A и строкой из таблицы B, разделенных знаком «|».Столбцы в каждом из них разделены символом ','.

Это огромная таблица (200 ГБ), поэтому мне нужно сделать это эффективно.

Пример данных:

0.0,0|586,abc,6
0.4,2|416,efg,3
1.0,8|007,hik,1

Я хочу получить таблицу A как таблицу панд, а таблицу B как отдельную таблицу панд.

Answer 1

"Это ОГРОМНАЯ таблица (200 ГБ), поэтому мне нужно сделать это эффективно."- затем не используйте pandas.

Если необходимо, вы можете сначала прочитать данные в виде одного кадра данных:

  df = pd.read_csv('test.txt', header=None, sep='[,|]')

Затем разделить данные по мере необходимости:

  df1 = df.iloc[:, 0:3]
  df2 = df.iloc[:, 3:5]
  del df

Это относится к разделению и загружает данные только один раз, но вы должны найти другой инструмент для чего-то такого размера ...