Маркировка данных на основе строкового значения в Python - PullRequest
Новая
       15

Маркировка данных на основе строкового значения в Python

1 голос
/ 07 июля 2019

У меня есть фрейм данных с 8000 строк, где столбец job_name содержит строки с коротким «заголовком задания» (см. Ниже). Я создал разные списки, содержащие отдельные вакансии, которые я хочу сгруппировать. 

job_hilfskraft = ['bretreuungskraft', 'pflegehilfskraft', 'pflegehelfer', 'krankenpflegehelfer','altenpflegerhelfer', 'pflegeassistent','pflegeassistenz','pflegehilfskräfte', 'pflegeassistenten', 'altenpflegehilfskraft', 'pflegeassistentin','altenpflegehelfer']
job_fachkraft = ['pflegefachkraft', 'altenpfleger','pflegefachkräfte','altenpflegerin', 'pflegekraft', 'krankenpfleger', 'krankenpfleger', 'altenpflegerin', 'altenpflegefachkraft', 'pflegemitarbeiter']
job_leitung = ['pflegedienstleitung', 'pflegedienstleiter', 'wohnbereichsleiter', 'einrichtungsleiter']
job_sonstige = ['küchenhilfskraft', 'reinigungskraft', 'küchenleiter', 'servicekraft', 'spülkraft', 'empfangskraft']

Пример строки, включающей должность. 

    job_name
0   Küchenhilfskraft in Teilzeit gesucht!
1   Examinierter Krankenpfleger in ambulanter Station

Желаемый вывод: 

        job_name                                        job_label
0   Küchenhilfskraft in Teilzeit gesucht!               sonstige
1   Examinierter Krankenpfleger in ambulanter Station   fachkraft

Я использую 

df['job_label'] = ""

df['job_label'][df.job_name.str.contains('|'.join(job_hilfskraft))] = 'hilfskraft'
df['job_label'][df.job_name.str.contains('|'.join(job_leitung))] = 'leitung'
df['job_label'][df.job_name.str.contains('|'.join(job_sonstige))] = 'sonstige'
df['job_label'][df.job_name.str.contains('|'.join(job_fachkraft))] = 'fachkraft'

Но он не назначает метки соответствующим строкам или только нескольким ... (<5% строк) </p>

Я также получаю сообщение для каждой строки «содержит»:

SettingWithCopyWarning: Значение пытается быть установлено для копии среза из DataFrame

1 Ответ

1 голос
/ 08 июля 2019

Это должно исправить вашу текущую проблему.

df['job_label'] = ""

df.loc[df.job_name.str.contains('|'.join(job_hilfskraft)), 'job_label'] = 'hilfskraft'
df.loc[df.job_name.str.contains('|'.join(job_leitung)), 'job_label'] = 'leitung'
df.loc[df.job_name.str.contains('|'.join(job_sonstige)), 'job_label'] = 'sonstige'
df.loc[df.job_name.str.contains('|'.join(job_fachkraft)), 'job_label'] = 'fachkraft'

Я бы, наверное, написал это так: 

lookup = {'hilfskraft': ['bretreuungskraft', 'pflegehilfskraft', 'pflegehelfer', 'krankenpflegehelfer','altenpflegerhelfer', 'pflegeassistent','pflegeassistenz','pflegehilfskräfte', 'pflegeassistenten', 'altenpflegehilfskraft', 'pflegeassistentin','altenpflegehelfer'],
'fachkraft': ['pflegefachkraft', 'altenpfleger','pflegefachkräfte','altenpflegerin', 'pflegekraft', 'krankenpfleger', 'krankenpfleger', 'altenpflegerin', 'altenpflegefachkraft', 'pflegemitarbeiter'],
'leitung': ['pflegedienstleitung', 'pflegedienstleiter', 'wohnbereichsleiter', 'einrichtungsleiter'],
'sonstige': ['küchenhilfskraft', 'reinigungskraft', 'küchenleiter', 'servicekraft', 'spülkraft', 'empfangskraft']}


df['job_label'] = ""

for replace, keywords in lookup.items():
    for k in keywords:
        df.loc[df.job_name.str.contains(k, case=False, regex=False), 'job_label'] = replace
...