предотвратить разделение слов, содержащих - с помощью keras ootb text_to_word_sequence

Question

Я использую:

from keras.preprocessing.text import text_to_word_sequence

text = 'Decreased glucose-6-phosphate dehydrogenase activity along with oxidative stress affects visual contrast sensitivity in alcoholics.'

words = set(text_to_word_sequence(text))

print(words)

, что приводит к:

{'oxidative', 'contrast', '6', 'affects', 'in', 'dehydrogenase', 'visual', 'stress', 'glucose', 'phosphate', 'along', 'activity', 'with', 'alcoholics', 'decreased', 'sensitivity'}

Есть ли способ предотвратить расщепление слова: глюкоза-6-фосфат

Answer 1

Да, удалив дефис из аргумента filters:

from keras_preprocessing.text import text_to_word_sequence

text = 'Decreased glucose-6-phosphate ...'

words = set(text_to_word_sequence(text,
 filters='!"#$%&()*+,./:;<=>?@[\\]^_`{|}~\t\n'))
words

{'activity',
 'affects',
 'alcoholics',
 'along',
 'contrast',
 'decreased',
 'dehydrogenase',
 'glucose-6-phosphate',
 'in',
 'oxidative',
 'sensitivity',
 'stress',
 'visual',
 'with'}

Это, конечно, повлияет на любое слово в вашем тексте, которое содержит дефис.