Создание мини-фреймов данных с использованием больших значений строк-фреймов данных -Pandas

Question

У меня есть pandas фрейм данных, который я прочитал из файла Excel. Поскольку строка 1 в файле Excel содержала повторяющиеся значения, такие как 245, 245, 245, я прочитал их как pd.read_excel(file, 'myfile', header = None), поэтому я могу запретить пандам создавать заголовки 245, 245.1, 245.2 и т. Д.

Вот мой df выглядит так:

    0             1      2            3                 4
0   245           245   245           867               867
1   Reddit        NaN   NaN           Facebook          NaN
2   ColumnNeeded  NaN   ColumnValue   ColumnNeeded      ColumnValue
3   RedditInsight NaN   C             FacbookInsights   A
4   RedditText    NaN   H             FacbookText       L

Мне нужен мой вывод, как этот (needed_df),

    ID      Company     ColumnNeeded    ColumnValue
0   245     Reddit      RedditInsight   C
1   245     Reddit      RedditText      H
2   867     Facebook    FacbookInsight  A
3   867     Facebook    FacbookText     L

Не уверен, как это сделать в pandas. Я попытался взять все уникальные значения в строке 1 из df.

id_s = []
for i in df.iloc[0]:
    id_s.append(i)
print(set(id_s))

список unique_ids '

unique_id = list(set(id_s))
print(unique_id )
>> [867,245]

А затем я хотел перебрать строку df's 1 и найти все совпадающие значения в списке unique_id, а затем разделить их на отдельные мини-фреймы данных.

Я не мог получить эту работу. Я думал о том, чтобы создать мини-фреймы данных, mini df1, т.е.

    0             1     2            
0   245           245   245           
1   Reddit        NaN   NaN           
2   ColumnNeeded  NaN   ColumnValue   
3   RedditInsight NaN   C             
4   RedditText    NaN   H   

mini df2:

    0                 1
0   867               867
1   Facebook          NaN
2   ColumnNeeded      ColumnValue
3   FacbookInsights   A
4   FacbookText       L

Я думаю сделать манипуляции (возможно, с помощью функции, чтобы я мог применить ко всем мини-dfs) эти мини-фреймы данных и, наконец, добавить их в большой фрейм данных. Или есть какие-то другие идеи или способы сделать это, чтобы получить мой выходной кадр данных?

Answer 1

Ваш DataFrame был создан, как показано ниже:

import pandas as pd
import numpy as np

df = pd.DataFrame([[245,245,245,867,867], ['Reddit', np.nan, np.nan,'Facebook',np.nan], ['ColumnNeeded',np.nan, 'ColumnValue', 'ColumnNeeded','ColumnValue'],
                   ['RedditInsight', np.nan, 'C', 'FacebookInsights', 'A'], ['RedditText', np.nan, 'H', 'FacbookText', 'L']])

Ваш DataFrame выглядит следующим образом:

               0      1            2                 3            4
0            245  245.0          245               867          867
1         Reddit    NaN          NaN          Facebook          NaN
2   ColumnNeeded    NaN  ColumnValue      ColumnNeeded  ColumnValue
3  RedditInsight    NaN            C  FacebookInsights            A
4     RedditText    NaN            H       FacbookText            L

и теперь код.

new_header = df.iloc[0] #Grab the first row for the header
df = df[1:] #Take the data less the header row
df.columns = new_header #Set the header row as the df header


#Drop the column with all NaNs
df = df.dropna(axis=1, how='all')
df = df.T #Transpose

#Must find a way to do this part programtically
#Manually changing the index currently

df.index = [245.0, 245.1, 867.0, 867.1] 

iPrev = ""

l1 = []
for i in df.index:

    indexNow = str(i)[:3]
    #print(indexNow)
    if iPrev == indexNow:

        #print(df.at[i, 3], df.at[i, 4])
        l2.append(df.at[i, 3])

        l3.append(df.at[i, 4])

        l1.append(l2)
        l1.append(l3)
        l2 = []
        l3 = []
    else:

        iPrev = indexNow

        l2 = [i, df.at[i, 1], df.at[i, 3]]
        l3 = [i, df.at[i, 1], df.at[i, 4]]
        #print(l2)

result = pd.DataFrame(l1, columns = ['ID','Company','ColumnNeeded','ColumnValue'])

print(result)   

Придает

      ID   Company      ColumnNeeded ColumnValue
0  245.0    Reddit     RedditInsight           C
1  245.0    Reddit        RedditText           H
2  867.0  Facebook  FacebookInsights           A
3  867.0  Facebook       FacbookText           L