Какую предварительно обученную модель мне нужно использовать для классификации длинных текстов в BERT?

Question

Мы знаем, что у bert есть предел максимальной длины токенов = 512, поэтому, если длина артикула намного больше, чем 512, например, 10000 токенов в тексте. В таком случае, как я могу использовать BERT?

Answer 1

У вас есть 2 варианта:

1. Усеченные последовательности длиннее 512 токенов.
2. Вы можете использовать скользящее окно подобный подход, реализованный chunk_long_sequences особенность в библиотеке тонкой настройки.

В вашем случае, с последовательностями около 10000 токенов, я бы go с опцией 2.