Захватить названия организаций из фрейма данных - PullRequest
Новая
       38

Захватить названия организаций из фрейма данных

1 голос
/ 02 мая 2019

У меня есть несколько строк, в которых есть текстовые данные в предложениях.Я пытаюсь применить извлечение сущностей с помощью Spacy, чтобы получить организацию и местоположение.

Я могу передать строку и получить сущности.Однако, если я применяю tgat к фрейму данных, он терпит неудачу, и вот ошибка.Я не уверен, правильно ли я написал для цикла или неправильно (X.text, X.label_)?Есть ли способ применить Spacy к строкам фрейма данных?

Фрейм данных не работает: 

import spacy 
from spacy import displacy
import en_core_web_sm
nlp = en_core_web_sm.load()
nlp = spacy.load("en") 

id1 = [1,2,3]
text = ['University of California has great research located in San Diego',np.NaN,'MIT is at Boston']
df = pd.DataFrame({'id':id1,'text':text})
df['text'] = df['text'].astype(str)
print(df)
'''
   id                                                              text
0   1  University of California has great research located in San Diego
1   2                                                               nan
2   3                                                  MIT is at Boston
'''
# works: passing nlp function from spacy 
df['text'] = df['text'].apply(lambda x: nlp(x)) # tokenized it
print(df['text'])

# fails
for row in df.iterrows():
    # getting: AttributeError: 'spacy.tokens.doc.Doc' object has no attribute 'label_'
    test = [(X.text, X.label_) for X in df['text']]
print(test)

Строка работает: 

sentence = 'University of California has great research located in San Diego'
result = nlp(sentence)
print([(X.text, X.label_) for X in result.ents])
'''
[('University of California', 'ORG'), ('San Diego', 'GPE')]
'''

Как получить подобные результаты?: 

   id                                                              text                                                 spacy_results         
0   1  University of California has great research located in San Diego [('University of California', 'ORG'), ('San Diego', 'GPE')]
1   2                                                               nan nan
2   3                                                  MIT is at Boston                         [('MIT', 'ORG'), ('Boston', 'GPE')]

1 Ответ

0 голосов
/ 10 мая 2019 
text = [[1, 'University of California has great research located in San Diego'],[2, 'MIT is at Boston']]
df = pd.DataFrame(text, columns = ['id', 'text'])
df['new_text'] = df['text'].apply(lambda x: list(nlp(x).ents)) 
print(df["text"])
...