Как удалить список слов из списка строк - PullRequest
Новая
       34

Как удалить список слов из списка строк

9 голосов
/ 18 августа 2010

Извините, если вопрос немного запутанный.Это похоже на этот вопрос

Я думаю, что этот вопрос близок к тому, что я хочу, но в Clojure.

Есть другой вопрос

Мне нужно что-то подобное, но вместо '[br]' в этом вопросе есть список строк, которые нужно искатьи удалил.

Надеюсь, я ясно дал понять.

Я думаю, что это связано с тем, что строки в python являются неизменяемыми.

У меня есть список шумовых слов, которые необходимо удалить из списка строк.

Если я использую понимание списка, я снова и снова ищу одну и ту же строку.Таким образом, удаляется только «из», а не «из».Итак, мой измененный список выглядит следующим образом 

places = ['New York', 'the New York City', 'at Moscow' and many more]

noise_words_list = ['of', 'the', 'in', 'for', 'at']

for place in places:
    stuff = [place.replace(w, "").strip() for w in noise_words_list if place.startswith(w)]

Я хотел бы знать, какую ошибку я совершаю.

Ответы [ 4 ]

15 голосов
/ 18 августа 2010

Без регулярного выражения вы могли бы сделать так: 

places = ['of New York', 'of the New York']

noise_words_set = {'of', 'the', 'at', 'for', 'in'}
stuff = [' '.join(w for w in place.split() if w.lower() not in noise_words_set)
         for place in places
         ]
print stuff
10 голосов
/ 18 августа 2010

Вот мой удар.Это использует регулярные выражения.

import re
pattern = re.compile("(of|the|in|for|at)\W", re.I)
phrases = ['of New York', 'of the New York']
map(lambda phrase: pattern.sub("", phrase),  phrases) # ['New York', 'New York']

Sans lambda: 

[pattern.sub("", phrase) for phrase in phrases]

Обновление

Исправлена ​​ошибка, указанная gnibbler (спасибо!): 

pattern = re.compile("\\b(of|the|in|for|at)\\W", re.I)
phrases = ['of New York', 'of the New York', 'Spain has rain']
[pattern.sub("", phrase) for phrase in phrases] # ['New York', 'New York', 'Spain has rain']

@ prabhu: указанное выше изменение позволяет избежать отрывания " in " от "Spain".Для проверки запустите обе версии регулярных выражений против фразы «В Испании дождь».

3 голосов
/ 18 августа 2010 
>>> import re
>>> noise_words_list = ['of', 'the', 'in', 'for', 'at']
>>> phrases = ['of New York', 'of the New York']
>>> noise_re = re.compile('\\b(%s)\\W'%('|'.join(map(re.escape,noise_words_list))),re.I)
>>> [noise_re.sub('',p) for p in phrases]
['New York', 'New York']
1 голос
/ 18 августа 2010

Поскольку вы хотели бы знать, что вы делаете неправильно, эта строка: 

stuff = [place.replace(w, "").strip() for w in noise_words_list if place.startswith(w)]

происходит, а затем начинает циклически повторять слова. Сначала он проверяет «о». Ваше место (например, "Нью-Йорк") проверяется, чтобы увидеть, начинается ли оно с "из". Он преобразуется (вызывается для замены и удаления) и добавляется в список результатов. Ключевым моментом здесь является то, что результат никогда не проверяется снова. Для каждого слова, которое вы перебираете в понимании, в список результатов добавляется новый результат. Таким образом, следующее слово "the" и ваше место ("Нью-Йорк") не начинается с "the", поэтому новый результат не добавляется.

Полагаю, что в итоге вы получили конкатенацию переменных места. Более простая для понимания и понимания процедурная версия (непроверенная): 

results = []
for place in places:
    for word in words:
        if place.startswith(word):
            place = place.replace(word, "").strip()
    results.append(place)

Имейте в виду, что replace() удалит слово в любом месте строки, даже если оно встречается в виде простой подстроки. Вы можете избежать этого, используя регулярные выражения с шаблоном, например, ^the\b.

...