Вопросы с тегом tokenize

0 голосов

0 ответов

Какие языки можно токенизировать и нормализовать с помощью данного файла данных ICU?

CoDEmanX / 06 августа 2020

0 голосов

0 ответов

BPE несколько способов кодирования слова

SweetSpot / 05 августа 2020

0 голосов

1 ответ

Токенизатор Keras: сохраняйте числа как «слова»

MichaelJanz / 04 августа 2020

0 голосов

0 ответов

Явная вероятность того, что WordPiece использовался для предварительной обработки BERT

SweetSpot / 04 августа 2020

0 голосов

1 ответ

Как объединить две токенизированные последовательности Берта

Learning stats by example / 03 августа 2020

1 голос

1 ответ

Spark эквивалент Keras Tokenizer?

Benny Mue / 18 июня 2020

0 голосов

0 ответов

Токенизировать в Python

Danny Paez / 18 июня 2020

0 голосов

2 ответов

Как запретить BERT разбивать определенные c слов на словарные части

parvaneh shayegh / 29 мая 2020

2 голосов

1 ответ

strtok () возвращает NULL при последующих вызовах, даже если есть другие токены для чтения

David Winston / 28 мая 2020

1 голос

2 ответов

Слова, используемые в мешочке слов, а также частота в токенизаторе keras

user110244 / 26 мая 2020

0 голосов

0 ответов

Почему вывод nltk стоп-слов не совпадает с выводом nltk word_tokenize

Jonny D / 07 мая 2020

0 голосов

1 ответ

Почему преобразование RegexTokenizer в PySpark дает мне противоположность требуемому шаблону?

brian.pinto / 06 мая 2020

0 голосов

3 ответов

Почему CMD игнорирует символ `;`?

arencoskun / 06 мая 2020

0 голосов

2 ответов

Как преобразовать keras tokenizer.texts_to_matrix (матрица с горячим кодированием) слов обратно в текст

KarthikS / 06 мая 2020

Для получения более полной информации посмотрите в списке вопросов или в популярных тегах.

...