BERT неявно моделирует количество слов?

Question

Учитывая, что BERT двунаправленный, неявно ли он моделирует подсчет слов в некотором заданном тексте? Я спрашиваю в случае классификации описаний столбцов данных как действительные или нет. Я ищу модель, основанную на количестве слов, и мне было интересно, нужно ли это делать, учитывая, что BERT двунаправленный.

Answer 1

BERT по умолчанию учитывает токенизацию "word-piece", а не токенизацию "word".BERT делает доступным атрибут max-sequence length, который отвечает за ограничение числа токенов в каждом предложении, а также обеспечивает обработку равного количества токенов.