Удалить все статьи, соединительные слова и т. Д. Из строки в Python

Question

У меня есть список, который содержит много предложений. Я хочу перебрать список, удалив из всех предложений такие слова, как «и», «the», «a», «are» и т. Д.

Я пробовал это:

def removearticles(text):


articles = {'a': '', 'an':'', 'and':'', 'the':''}
for i, j in articles.iteritems():
    text = text.replace(i, j)
return text

Как вы, вероятно, можете сказать, однако, это удалит «a» и «an», когда оно появится в середине слова. Мне нужно удалить только экземпляры слов, когда они разделены пробелом, а не когда они находятся внутри слова. Какой самый эффективный способ добиться этого?

Answer 1

Я бы выбрал регулярное выражение, что-то вроде:

def removearticles(text):
  re.sub('(\s+)(a|an|and|the)(\s+)', '\1\3', text)

или, если вы хотите удалить также первые пробелы:

def removearticles(text):
  re.sub('\s+(a|an|and|the)(\s+)', '\2', text)

Answer 2

Это больше похоже на работу НЛП, чем на обычное регулярное выражение. Я хотел бы проверить NLTK (http://www.nltk.org/) IIRC, он поставляется с корпусом, полным слов-наполнителей, подобных тем, от которых вы пытаетесь избавиться.

Answer 3

def removearticles(text):


articles = {'a': '', 'an':'', 'and':'', 'the':''}
rest = []
for word in text.split():
    if word not in articles:
        rest.append(word)
return ' '.join(rest)

in оператор dict работает быстрее, чем список.

Answer 4

Попробуйте что-нибудь вроде

articles = ['and', 'a']
newText = ''
for word in text.split(' '):
    if word not in articles:
        newText += word+' '
return newText[:-1]

Answer 5

Это можно сделать с помощью regex . Выполните итерацию ваших строк или (''. Присоединитесь к списку и отправьте его как строку) для следующего регулярного выражения.

>>> import re
>>> rx = re.compile(r'\ban\b|\bthe\b|\band\b|\ba\b')
>>> rx.sub(' ','a line with lots of an the and a baad')
'  line with lots of         baad'