Вопросы с тегом токенизировать

2 голосов

1 ответ

Как разбить строку (на основе множества разделителей), но без пробелов?

workerjoe / 05 августа 2020

0 голосов

1 ответ

количество токенизированных предложений не соответствует количеству предложений в тексте

Katharina Baur / 04 августа 2020

0 голосов

1 ответ

Нажатие кнопки flask запускает код python и распаковывает файлы с помощью токенизатора

bigfish_N7 / 10 июля 2020

1 голос

1 ответ

Почему я получаю исключение ArrayIndexOutOfBoundsException, когда пытаюсь токенизировать ввод с консоли (Java)?

patty2904 / 08 июля 2020

0 голосов

1 ответ

l oop строка и получить значение xslt

Mohan / 21 июня 2020

1 голос

1 ответ

Как токенизировать слово дефисом в Spacy

Mian Talha / 21 июня 2020

1 голос

1 ответ

Регулярное выражение разделяется на все знаки препинания и последовательности символов Engli sh и сохраняет разделители с zhuyin в Python

Hackore / 19 июня 2020

0 голосов

1 ответ

Как spacy разделяет "s"?

Fathima Shaibal / 17 июня 2020

3 голосов

3 ответов

Слово NLTK токенизирует все слова, кроме слов с da sh, например ('hi-there', 'me-you')

user13758558 / 16 июня 2020

0 голосов

1 ответ

Токенизаторы на основе Python для языков, отличных от английского sh

Raj / 08 мая 2020

0 голосов

0 ответов

Токенизация потока в C ++ с использованием регулярного выражения

Madeleine P. Vincent / 06 мая 2020

2 голосов

0 ответов

Tweet Tokenizing Столбец в Dataframe; Получение ошибки

Rida Amjad / 05 мая 2020

0 голосов

0 ответов

Проблема кодировки HuggingFace ByteLevelBPETokenizer в файле merge.txt

user3036212 / 04 мая 2020

0 голосов

0 ответов

Роберта детокенизация без потери ярлыков

kay fresh / 02 мая 2020

1 голос

1 ответ

R: Самодельная функция с токенизацией и% like% работает только на первом токене

mnal / 27 апреля 2020

1 голос

1 ответ

BERT-токенайзер Huggingface не добавляет токен

doctopus / 26 апреля 2020

1 голос

1 ответ

Токенизация в тидитексте, выход в амперсанды

RayVelcoro / 21 апреля 2020

0 голосов

1 ответ

Ошибка длины последовательности индексов токена при использовании метода encode_plus

Niels / 20 апреля 2020

0 голосов

1 ответ

Как токенизировать в numpy .ndarray?

Sunny Duckling / 17 апреля 2020

0 голосов

1 ответ

Тренировка BERT с встраиванием символов

user3741951 / 31 марта 2020

3 голосов

1 ответ

Как восстановить текстовые объекты с помощью конвейеров трансформеров Hugging Face без тегов IOB?

Learning stats by example / 30 марта 2020

0 голосов

0 ответов

Задача BERT на китайском NER: как на ней токенизировать буквы?

www123 / 28 марта 2020

1 голос

1 ответ

Ошибка при использовании unnest_tokens () при передаче функции токену

Sagar K / 23 марта 2020

1 голос

0 ответов

Edge n-грамм предложения и ключевое слово «начинается с» в Elasticsearch

trurohit / 29 февраля 2020

0 голосов

1 ответ

Elasticsearch "max_ngram_diff" работает для "edge_ngram", но не для "ngram_tokenizer"

Mark / 26 февраля 2020