Парная разница столбцов в кадре данных для создания кадра данных с 1,3 миллиона столбцов - PullRequest
Новая
       112

Парная разница столбцов в кадре данных для создания кадра данных с 1,3 миллиона столбцов

0 голосов
/ 17 июня 2020

У меня есть фрейм данных с 1600 столбцами.

Фрейм данных df выглядит так, как будто имена столбцов 1, 3 , 2: 

Row Labels  1   3   2
41730Type1  9   6   5
41730Type2  14  12  20
41731Type1  2   15  5
41731Type2  3   20  12
41732Type1  8   10  5
41732Type2  8   18  16

Мне нужно создать следующий фрейм данных df2 питонически: 

Row Labels  (1, 2)  (1, 3)  (2, 3)
41730Type1  -4      -3       1
41730Type2  6       -2       -8
41731Type1  3       13       10
41731Type2  9       17        8
41732Type1  -3      2         5
41732Type2  8       10        2

где, например, column (1, 2) создается df[2] - df[1]

Имена столбцов для df2 создаются путем объединения заголовков столбцов df1 таким образом, что второй элемент каждого имени больше первого, например, (1, 2), (1, 3), (2, 3)

Вторая проблема заключается в том, может ли pandas фрейм данных поддерживать 1,3 миллиона столбцов?

Ответы [ 2 ]

1 голос
/ 17 июня 2020

комбинаций itertools кажется очевидным выбором, так же как @YOBEN_S, другой путь к решению, с использованием массивов numpy и словаря 

from itertools import combinations
new_data = combinations(df.to_numpy().T,2)
new_cols = combinations(df.columns, 2)

result = {key : np.subtract(arr1,arr2)
          if key[0] > key[1]
          else np.subtract(arr2,arr1)
          for (arr1, arr2), key
          in zip(new_data,new_cols)}

outcome = pd.DataFrame.from_dict(result,orient='index').sort_index().T

outcome


    (1, 2)  (1, 3)  (3, 2)
0   -4       -3       1
1    6       -2      -8
2    3       13      10
3    9       17       8
4   -3       2        5
5    8      10        2
1 голос
/ 17 июня 2020

Мы можем сделать combinations для столбца, затем создать dict и concat его обратно 

import itertools
l=itertools.combinations(df.columns,2)
d={'{0[0]}|{0[1]}'.format(x) : df[x[0]]-df[x[1]] for x in [*l]  }
newdf=pd.concat(d,axis=1)
            1|3  1|2  3|2
RowLabels                
41730Type1    3    4    1
41730Type2    2   -6   -8
41731Type1  -13   -3   10
41731Type2  -17   -9    8
41732Type1   -2    3    5
41732Type2  -10   -8    2
...