Лучший способ убрать пунктуацию из строки в Python

Question

Кажется, что должен быть более простой способ, чем:

import string
s = "string. With. Punctuation?" # Sample string 
out = s.translate(string.maketrans("",""), string.punctuation)

Есть?

Answer 1

С точки зрения эффективности, вы не победите

s.translate(None, string.punctuation)

Для более поздних версий Python используйте следующий код:

s.translate(str.maketrans('', '', string.punctuation))

Он выполняет необработанные строковые операции в C с помощью таблицы поиска - не так много, что побьет это, кроме написания собственного кода на C.

Если скорость не беспокоит, другой вариант:

exclude = set(string.punctuation)
s = ''.join(ch for ch in s if ch not in exclude)

Это быстрее, чем s.replace с каждым символом, но не будет работать так же хорошо, как подходы с не-чистым питоном, такие как регулярные выражения или string.translate, как вы можете видеть из приведенных ниже моментов времени. Для такого типа проблем выполнение на минимально возможном уровне окупается.

Временной код:

import re, string, timeit

s = "string. With. Punctuation"
exclude = set(string.punctuation)
table = string.maketrans("","")
regex = re.compile('[%s]' % re.escape(string.punctuation))

def test_set(s):
    return ''.join(ch for ch in s if ch not in exclude)

def test_re(s):  # From Vinko's solution, with fix.
    return regex.sub('', s)

def test_trans(s):
    return s.translate(table, string.punctuation)

def test_repl(s):  # From S.Lott's solution
    for c in string.punctuation:
        s=s.replace(c,"")
    return s

print "sets      :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000)
print "regex     :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000)
print "translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000)
print "replace   :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000)

Это дает следующие результаты:

sets      : 19.8566138744
regex     : 6.86155414581
translate : 2.12455511093
replace   : 28.4436721802

Answer 2

Регулярные выражения достаточно просты, если вы их знаете.

import re
s = "string. With. Punctuation?"
s = re.sub(r'[^\w\s]','',s)

В приведенном выше коде мы заменяем (re.sub) все NON [буквенно-цифровые символы (\ w) и пробелы (\ s)] пустой строкой.
Отсюда. а также ? пунктуация не будет присутствовать в переменной 's' после запуска переменной s через регулярное выражение.

Answer 3

Для удобства использования я суммирую примечание о чередовании знаков препинания в строке как в Python 2, так и в Python 3. Пожалуйста, обратитесь к другим ответам для подробного описания.

---

Python 2

import string

s = "string. With. Punctuation?"
table = string.maketrans("","")
new_s = s.translate(table, string.punctuation)      # Output: string without punctuation

---

Python 3

import string

s = "string. With. Punctuation?"
table = str.maketrans({key: None for key in string.punctuation})
new_s = s.translate(table)                          # Output: string without punctuation

Answer 4

myString.translate(None, string.punctuation)

Answer 5

Я обычно использую что-то вроде этого:

>>> s = "string. With. Punctuation?" # Sample string
>>> import string
>>> for c in string.punctuation:
...     s= s.replace(c,"")
...
>>> s
'string With Punctuation'

Answer 6

string.punctuation только ASCII ! Более правильным (но и гораздо более медленным) способом является использование модуля unicodedata:

# -*- coding: utf-8 -*-
from unicodedata import category
s = u'String — with -  «punctation »...'
s = ''.join(ch for ch in s if category(ch)[0] != 'P')
print 'stripped', s

Answer 7

Не обязательно проще, но по-другому, если вы больше знакомы с семьей.

import re, string
s = "string. With. Punctuation?" # Sample string 
out = re.sub('[%s]' % re.escape(string.punctuation), '', s)

Answer 8

Для значений Python 3 str или Python 2 unicode, str.translate() принимает только словарь; в этом отображении ищутся кодовые точки (целые числа), и все, что сопоставлено с None, удаляется.

Чтобы удалить (некоторые?) Знаки препинания, используйте:

import string

remove_punct_map = dict.fromkeys(map(ord, string.punctuation))
s.translate(remove_punct_map)

Метод класса dict.fromkeys() упрощает создание отображения, устанавливая все значения на None на основе последовательности ключей.

Чтобы удалить все знаки препинания, а не только знаки препинания ASCII, ваш стол должен быть немного больше; см. J.F. Ответ Себастьяна (версия Python 3):

import unicodedata
import sys

remove_punct_map = dict.fromkeys(i for i in range(sys.maxunicode)
                                 if unicodedata.category(chr(i)).startswith('P'))

Answer 9

string.punctuation пропускает множество знаков препинания, которые обычно используются в реальном мире. Как насчет решения, которое работает для пунктуации без ASCII?

import regex
s = u"string. With. Some・Really Weird、Non？ASCII。 「（Punctuation）」?"
remove = regex.compile(ur'[\p{C}|\p{M}|\p{P}|\p{S}|\p{Z}]+', regex.UNICODE)
remove.sub(u" ", s).strip()

Лично я считаю, что это лучший способ удалить пунктуацию из строки в Python, потому что:

• Удаляет все знаки препинания Unicode
• Это легко модифицируется, например, Вы можете удалить \{S}, если хотите удалить знаки препинания, но оставить символы, такие как $.
• Вы можете действительно точно определить, что вы хотите сохранить и что вы хотите удалить, например, \{Pd} удалит только тире.
• Это регулярное выражение также нормализует пробелы. Он отображает вкладки, возврат каретки и другие странности в красивые, одиночные пробелы.

Здесь используются свойства символов Юникода, о о которых вы можете прочитать в Википедии .

Answer 10

Вот функция, которую я написал. Это не очень эффективно, но это просто, и вы можете добавить или удалить любую пунктуацию по вашему желанию:

def stripPunc(wordList):
    """Strips punctuation from list of words"""
    puncList = [".",";",":","!","?","/","\\",",","#","@","$","&",")","(","\""]
    for punc in puncList:
        for word in wordList:
            wordList=[word.replace(punc,'') for word in wordList]
    return wordList