вычисление tf_idf для таблицы fvt

Question

У меня есть таблица значений частоты, например-

    a   b           
1   3   0                   
2   0   3                   
3   4   5                   

, и я хочу вычислить tf_idf.

Мой код-

l=len(data)
for doc in data:

m=data.groupby(doc).apply(lambda column: column.sum()/(column != 0).sum())
for i in range(l):
    tf=print(data.loc[i,doc])
    idf=log(l/m)                  
    weight=tf*idf
    data.loc[i,doc]=weight

Пояснение- Сначала яя перебираю каждый столбец, где я нахожу ненулевые строки в этом столбце в var m, сохраняю конкретное значение этой строки в столбце как tf, а затем вычисляю tf_idf и заменяю значения в таблице весами tf_idf.

ожидаемый результат-

для первой строки столбца g мы имеем tf = 3 idf = log (5/4), поэтому tf_idf = idf * tf

    a   b           
1   0.4 0                   
2   0   0.4                 
3   0.17 .22                    

Answer 1

Входной фрейм данных:

df
    a   b
0   3   0
1   0   3
2   4   5

Сначала найдите idf всех слов,

idf_list = []
for col in list(df.columns):
    total_count = df[col].nonzero()[0][1]
    idf = np.log(len(df) / total_count)
    idf_list.append(round(idf, 3))

Теперь найдите tf-idf и обновите фрейм данных,

for row in range(len(df)):
    total_doc_words = sum(df.iloc[row].values)
    for col in range(len(df.columns)):
        tf = df.iloc[row, col] / total_doc_words
        df.iloc[row, col] = tf * idf_list[col]

Выход:

df
       a    b
0   0.405   0.000
1   0.000   0.405
2   0.180   0.225