Разделите каждый столбец в одном df на каждый столбец в другом df в Python

Question

Добрый день,

Проблема: у меня есть два фрейма данных - производительность на фирме или выход на фирму:

`firms = ['1', '2', '3']
df = pd.DataFrame(firms)
output = { 'firms': ['1', '2', '3'],
'Sales': [150, 200, 50],
'Profit':[200, 210, 90]}
df1 = pd.DataFrame.from_dict(output)
inputs = { 'firms': ['1', '2', '3'],
'Salary': [10000, 20000, 500],
'employees':[2, 4, 5]}
df2 = pd.DataFrame.from_dict(inputs)`

Мне нужно разделить каждый столбецвыходная таблица для каждого столбца входной таблицы.На данный момент я делаю это очень уродливо - делением всей выходной таблицы на каждый отдельный столбец входной таблицы и последующим объединением результата.Хорошо, когда у меня есть два столбца, но мне интересно, есть ли лучший способ сделать это, поскольку у меня может быть 100 столбцов в одной таблице и 50 в другой.Ах, также важно, чтобы размер мог быть другим, например, 50 столбцов на входе и 100 в выходной таблице.

frst = df1.iloc[:,0:2].divide(df2.Salary, axis = 0)
frst.columns = ['y1-x1', 'y2-x1']
sec = df1.iloc[:,0:2].divide(df2.employees, axis = 0)
sec.columns = ['y1-x2', 'y2-x2']
complete = pd.DataFrame(df).join(frst).join(sec)

Вывод:

|Фирма |y1-x1 |у2-х1 |у1-х2 |у2-х2 |

|1 |0,0200 |0,015 |100,0 |75,0 |

|2 |0,0105 |0,010 |52,5 |50,0 |

|3 |0,1800 |0,100 |18,0 |10.0 |

Я также пробовал с циклами, но если я правильно помню, потому что в моем реальном примере у меня есть таблицы другого размера, это не сработало.Буду очень признателен за ваши предложения!

Answer 1

Я не понимаю, почему вы не можете просто использовать простой цикл.Похоже, что вы хотите выровнять все по firms, поэтому установка индекса будет разрешать любые объединения или деления на неравные длины.

df1 = df1.set_index('firms')
df2 = df2.set_index('firms')

l = []
for col in df2.columns:
    l.append(df1.div(df2[col], axis=0).add_suffix(f'_by_{col}'))
pd.concat(l, axis=1)

Вывод:

       Sales_by_Salary  Profit_by_Salary  Sales_by_employees  Profit_by_employees
firms                                                                            
1                0.015            0.0200                75.0                100.0
2                0.010            0.0105                50.0                 52.5
3                0.100            0.1800                10.0                 18.0

Answer 2

Поэтому я думаю, что проблема заключается в том, что вы рассматриваете свои данные как по существу трехмерные, где у вас есть измерения (фирмы, компоненты затрат, компоненты дохода), и вы хотите, чтобы коэффициенты для каждого внешнего продукта трехразмеры.

Конечно, есть способы выполнить то, что вы хотели бы сделать в DataFrame, но они беспорядочные.

У Pandas есть трехмерный объект, называемый Panel, но это устарело в пользу более полного решения для индексированных структур данных с большими измерениями, которое называется xarray .Думайте об этом как о пандах для NDArrays.

Мы можем преобразовать ваши данные в xarray DataArray, пометив и сложив ваши индексы:

In [2]: income = df1.set_index('firms').rename_axis(['income'], axis=1).stack('income').to_xarray()

In [3]: income
Out[3]:
<xarray.DataArray (firms: 3, income: 2)>
array([[150, 200],
       [200, 210],
       [ 50,  90]])
Coordinates:
  * firms    (firms) object '1' '2' '3'
  * income   (income) object 'Sales' 'Profit'

In [4]: costs = df2.set_index('firms').rename_axis(['costs'], axis=1).stack('costs').to_xarray()

In [5]: costs
Out[5]:
<xarray.DataArray (firms: 3, costs: 2)>
array([[10000,     2],
       [20000,     4],
       [  500,     5]])
Coordinates:
  * firms    (firms) object '1' '2' '3'
  * costs    (costs) object 'Salary' 'employees'

Теперь у вас есть два DataArrays, каждый с двумя измерениями,но размеры не совпадают.Оба индекса индексируются firms, но доход индексируется income, а затраты индексируются costs.

Это , передаваемые друг против друга автоматически, когда операции выполняются с обоимииз них:

In [6]: income / costs
Out[6]:
<xarray.DataArray (firms: 3, income: 2, costs: 2)>
array([[[1.50e-02, 7.50e+01],
        [2.00e-02, 1.00e+02]],

       [[1.00e-02, 5.00e+01],
        [1.05e-02, 5.25e+01]],

       [[1.00e-01, 1.00e+01],
        [1.80e-01, 1.80e+01]]])
Coordinates:
  * firms    (firms) object '1' '2' '3'
  * income   (income) object 'Sales' 'Profit'
  * costs    (costs) object 'Salary' 'employees'

Эти данные теперь имеют структуру, которую вы пытаетесь достичь, и это деление было выполнено с использованием оптимизированных операций Cython, а не циклов.

Вы можете преобразовать данные обратнок кадру данных, используя встроенный метод DataArray.to_series:

In [7]: (income / costs).to_series().to_frame(name='income to cost ratio')
Out[7]:
                        income to cost ratio
firms income costs
1     Sales  Salary                   0.0150
             employees               75.0000
      Profit Salary                   0.0200
             employees              100.0000
2     Sales  Salary                   0.0100
             employees               50.0000
      Profit Salary                   0.0105
             employees               52.5000
3     Sales  Salary                   0.1000
             employees               10.0000
      Profit Salary                   0.1800
             employees               18.0000