Есть ли способ убрать эти странные символы - PullRequest
0 голосов
/ 11 апреля 2020
 def _clean(text):
    text = text.lower()
    text = re.sub(r'RT|rt', '', text)
    text = re.sub(r'&', '&', text)
    text = re.sub(r'[?!.;:,#@-]', '', text)
    text = re.sub(r"[$&+,:;=?#]|[0-9]|<ed>|<U\+[A-Z0-9]+>", "", text)
    text = re.sub("<+[A-Z0-9]+>", "", text)
    text = re.sub(r'https?|:\//\w.*', '', text)
    text = re.sub(r'\//?w*', '',text)
    text = re.sub(r'\ ã°â*', '' ,text)
    words = text.split()
    words = [w for w in words if w not in stopwords]
    text = " ".join(words)
    text = emoji_pattern.sub(r'', text)
    return text

До сих пор я использовал приведенный выше код. Я не знаю, как его почистить

Happy Bhday последняя пятница ночью (tgif) Время последней пятницы ночь tgif ff â¦

1 Ответ

1 голос
/ 11 апреля 2020

Вы можете удалить все символы, не входящие в ASCII, используя следующее регулярное выражение:

text = re.sub(r'[^\x00-\x7F]+', '', text)

См. Также этот вопрос: Замените символы, не входящие в ASCII, одним пробелом

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...