Использование словарей для подсчета частоты слов в датафрейме Python

Question

У меня есть фрейм данных, состоящий из текстовых описаний должностей и 3 пустых столбцов

   index   job_description                 level_1      level_2        level_3
    0      this job requires masters in..    0             0              0
    1      bachelor degree needed for..      0             0              0
    2      ms is preferred or phd..          0             0              0

Я пытаюсь просмотреть каждую строку описания задания и посчитать частоту каждого уровня степени, который был упомянут вописание работы.Пример вывода должен выглядеть следующим образом.

   index   job_description                 level_1      level_2        level_3
    0      this job requires masters in..    0             1              0
    1      bachelor degree needed for..      1             0              0
    2      ms is preferred or phd..          0             1              1

Я создал словари для сравнения, как показано ниже, но я немного не понимаю, как мне искать эти слова в строках кадра данных ""описание работы" и заполните столбцы данных в зависимости от того, существуют слова или нет.

my_dict_1 = dict.fromkeys(['bachelors', 'bachelor', 'ba','science
                           degree','bs','engineering degree'], 1)
my_dict_2 = dict.fromkeys(['masters', 'ms', 'master'], 1)
my_dict_3 = dict.fromkeys(['phd','p.h.d'], 1)

Я очень ценю поддержку в этом ..

Answer 1

Немного другой подход - хранить ключевые слова и описания заданий в виде наборов, а затем вычислять пересечения наборов.Вы можете компактно сгенерировать матрицу пересечений, векторизовав set.intersection:

import pandas as pd

df = pd.read_csv(
    pd.compat.StringIO(
        """   index   job_description                 level_1      level_2        level_3
        0      this job requires masters in..    0             0              0
            1      bachelor degree needed for..      0             0              0
                2      ms is preferred or phd ..          0             0              0"""
    ),
    sep=r"  +",
)


levels = pd.np.array(
    [
        {"bachelors", "bachelor", "ba", "science degree", "bs", "engineering degree"},
        {"masters", "ms", "master"},
        {"phd", "p.h.d"},
    ]
)

df[["level_1", "level_2", "level_3"]] = (
    pd.np.vectorize(set.intersection)(
        df.job_description.str.split().apply(set).values[:, None], levels
    )
    .astype(bool)
    .astype(int)
)

   index                 job_description  level_1  level_2  level_3
0      0  this job requires masters in..        0        1        0
1      1    bachelor degree needed for..        1        0        0
2      2       ms is preferred or phd ..        0        1        1

Answer 2

Я думаю, что мы можем сделать так:

# create a level based mapper dict
mapper = {'level_1':['bachelors', 'bachelor', 'ba','science degree','bs','engineering degree'],
          'level_2': ['masters', 'ms', 'master'],
          'level_3': ['phd','p.h.d']}

# convert list to set
mapper = {k:set(v) for k,v in mapper.items}

# remove dots from description
df['description'] = df['description'].str.replace('.','')

# check if any word of description is available in the mapper dict
df['flag'] = df['description'].str.split(' ').apply(set).apply(lambda x: [k for k,v in mapper.items() if any([y for y in x if y in v])])

# convert the list into new rows
df1 = df.set_index(['index','description'])['flag'].apply(pd.Series).stack().reset_index().drop('level_2', axis=1)
df1.rename(columns={0:'flag'}, inplace=True)

# add a flag column , this value will be use as filler
df1['val'] = 1

# convert the data into wide format
df1 = df1.set_index(['index','description','flag'])['val'].unstack(fill_value=0).reset_index()
df1.columns.name = None

print(df1)

   index                   description  level_1  level_2  level_3
0      0  this job requires masters in        0        1        0
1      1  bachelor degree needed for 0        1        0        0
2      2        ms is preferred or phd        0        1        1

Answer 3

Как насчет чего-то подобного?

Поскольку каждый из трех ваших словарей соответствует разным столбцам, которые вы хотите создать, мы можем создать еще одно сопоставление словаря с именами столбцов, которые скоро появятся в качестве ключей, истроки для поиска на каждом конкретном уровне в качестве значений (на самом деле, вам даже не нужен словарь для хранения элементов my_dict_<x> - вместо этого вы можете использовать set - но это не так уж и сложно):

>>> lookup = {'level_1': my_dict_1, 'level_2': my_dict_2, 'level_3': my_dict_3}
>>> lookup
{'level_1': {'bachelors': 1, 'bachelor': 1, 'ba': 1, 'science degree': 1, 'bs': 1, 'engineering degree': 1}, 'level_2': {'masters': 1, 'ms': 1, 'master': 1}, 'level_3': {'phd': 1, 'p.h.d': 1}}

Затем просмотрите каждый предложенный столбец в только что созданном словаре и назначьте новый столбец, который создает желаемый результат, проверяя для каждого уровня, указанного в каждом объекте my_dict_<x>, принадлежит ли хотя бы один элемент в задании.описание в каждой строке ...

>>> for level, values in lookup.items():
...     df[level] = df['job_description'].apply(lambda x: 1 if any(v in x for v in values) else 0)
... 
>>> df
              job_description  level_1  level_2  level_3
0     masters degree required        0        1        0
1  bachelor's degree required        1        0        0
2    bachelor degree required        1        0        0
3                phd required        0        0        1

Другое решение, использующее класс CountVectorizer от scikit-learn, который считает частоты токенов (в основном слов), встречающихся в строках:

>>> from sklearn.feature_extraction.text import CountVectorizer

Укажите конкретный словарь - забудьте обо всех других словах, которые не являются ключевыми словами «академических полномочий»:

>>> vec = CountVectorizer(vocabulary={value for level, values in lookup.items() for value in values})
>>> vec.vocabulary
{'master', 'p.h.d', 'ba', 'ms', 'engineering degree', 'masters', 'phd', 'bachelor', 'bachelors', 'bs', 'science degree'}

Подгоните этот преобразователь к итерируемому тексту: df['job_description']:

>>> result = vec.fit_transform(df['job_description'])

Более подробно рассмотрим результаты:

>>> pd.DataFrame(result.toarray(), columns=vec.get_feature_names())
   ba  bachelor  bachelors  bs  engineering degree  master  masters  ms  p.h.d  phd  science degree
0   0         0          0   0                   0       0        1   0      0    0               0
1   0         1          0   0                   0       0        0   0      0    0               0
2   0         1          0   0                   0       0        0   0      0    0               0
3   0         0          0   0                   0       0        0   0      0    1               0

Этот последний подход может потребовать немного больше работы, если вы хотитечтобы вернуться к вашей level_<x> структуре столбцов, но я подумал, что просто покажу это как другой способ думать о кодировании этих точек данных.