Лучший способ убрать пунктуацию из строки в Python - PullRequest
512 голосов
/ 05 ноября 2008

Кажется, что должен быть более простой способ, чем:

import string
s = "string. With. Punctuation?" # Sample string 
out = s.translate(string.maketrans("",""), string.punctuation)

Есть?

Ответы [ 24 ]

6 голосов
/ 05 июля 2011

Возможно, это не лучшее решение, но я так и сделал.

import string
f = lambda x: ''.join([i for i in x if i not in string.punctuation])
6 голосов
/ 21 марта 2016

Вот одна строка для Python 3.5:

import string
"l*ots! o(f. p@u)n[c}t]u[a'ti\"on#$^?/".translate(str.maketrans({a:None for a in string.punctuation}))
6 голосов
/ 18 июня 2016

Я еще не видел этот ответ. Просто используйте регулярное выражение; удаляются все символы, кроме символов слова (\w) и цифр (\d), за которыми следует символ пробела (\s):

import re
s = "string. With. Punctuation?" # Sample string 
out = re.sub(ur'[^\w\d\s]+', '', s)
4 голосов
/ 07 мая 2018

В качестве обновления я переписал пример @Brian в Python 3 и внес в него изменения, чтобы переместить шаг компиляции регулярного выражения в функцию. Я думал здесь о том, чтобы рассчитывать каждый шаг, необходимый для работы функции. Возможно, вы используете распределенные вычисления и не можете разделить объект регулярного выражения между вашими работниками, и вам нужно иметь шаг re.compile для каждого работника. Кроме того, мне было интересно узнать время двух разных реализаций макетранса для Python 3

.
table = str.maketrans({key: None for key in string.punctuation})

против

table = str.maketrans('', '', string.punctuation)

Плюс я добавил еще один метод для использования set, в котором я использую функцию пересечения, чтобы уменьшить количество итераций.

Это полный код:

import re, string, timeit

s = "string. With. Punctuation"


def test_set(s):
    exclude = set(string.punctuation)
    return ''.join(ch for ch in s if ch not in exclude)


def test_set2(s):
    _punctuation = set(string.punctuation)
    for punct in set(s).intersection(_punctuation):
        s = s.replace(punct, ' ')
    return ' '.join(s.split())


def test_re(s):  # From Vinko's solution, with fix.
    regex = re.compile('[%s]' % re.escape(string.punctuation))
    return regex.sub('', s)


def test_trans(s):
    table = str.maketrans({key: None for key in string.punctuation})
    return s.translate(table)


def test_trans2(s):
    table = str.maketrans('', '', string.punctuation)
    return(s.translate(table))


def test_repl(s):  # From S.Lott's solution
    for c in string.punctuation:
        s=s.replace(c,"")
    return s


print("sets      :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000))
print("sets2      :",timeit.Timer('f(s)', 'from __main__ import s,test_set2 as f').timeit(1000000))
print("regex     :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000))
print("translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000))
print("translate2 :",timeit.Timer('f(s)', 'from __main__ import s,test_trans2 as f').timeit(1000000))
print("replace   :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000))

Это мои результаты:

sets      : 3.1830138750374317
sets2      : 2.189873124472797
regex     : 7.142953420989215
translate : 4.243278483860195
translate2 : 2.427158243022859
replace   : 4.579746678471565
4 голосов
/ 30 ноября 2016

Вот решение без регулярных выражений.

import string

input_text = "!where??and!!or$$then:)"
punctuation_replacer = string.maketrans(string.punctuation, ' '*len(string.punctuation))    
print ' '.join(input_text.translate(punctuation_replacer).split()).strip()

Output>> where and or then
  • Заменяет знаки препинания с пробелами
  • Замена нескольких пробелов между словами одним пробелом
  • Удалить завершающие пробелы, если таковые имеются с полоса ()
3 голосов
/ 03 февраля 2017
import re
s = "string. With. Punctuation?" # Sample string 
out = re.sub(r'[^a-zA-Z0-9\s]', '', s)
3 голосов
/ 24 августа 2016
>>> s = "string. With. Punctuation?"
>>> s = re.sub(r'[^\w\s]','',s)
>>> re.split(r'\s*', s)


['string', 'With', 'Punctuation']
2 голосов
/ 18 октября 2015

Однострочник может быть полезен в не очень строгих случаях:

''.join([c for c in s if c.isalnum() or c.isspace()])
1 голос
/ 04 января 2017
with open('one.txt','r')as myFile:

    str1=myFile.read()

    print(str1)


    punctuation = ['(', ')', '?', ':', ';', ',', '.', '!', '/', '"', "'"] 

for i in punctuation:

        str1 = str1.replace(i," ") 
        myList=[]
        myList.extend(str1.split(" "))
print (str1) 
for i in myList:

    print(i,end='\n')
    print ("____________")
1 голос
/ 02 января 2017
#FIRST METHOD
#Storing all punctuations in a variable    
punctuation='!?,.:;"\')(_-'
newstring='' #Creating empty string
word=raw_input("Enter string: ")
for i in word:
     if(i not in punctuation):
                  newstring+=i
print "The string without punctuation is",newstring

#SECOND METHOD
word=raw_input("Enter string: ")
punctuation='!?,.:;"\')(_-'
newstring=word.translate(None,punctuation)
print "The string without punctuation is",newstring


#Output for both methods
Enter string: hello! welcome -to_python(programming.language)??,
The string without punctuation is: hello welcome topythonprogramminglanguage
...