Я пытаюсь построить модель keras для классификации текста по 45 различным классам. Я немного запутался в подготовке своих данных для ввода, как того требует модель BERT от Google.
Некоторые сообщения блога вставляют данные в виде набора данных tf с input_ids, идентификаторами сегментов и идентификаторами масок, как в этого руководства , но затем некоторые только go с input_ids и масками, например в этом руководстве.
Также во втором руководстве отмечается, что входные данные маски сегмента и маски внимания являются необязательными.
Может кто-нибудь объяснить, требуются ли эти два или нет для задачи классификации мультикласса?
Если это помогает, каждая строка моих данных может состоять из любого числа предложений в пределах разумного размера абзаца. Я хочу иметь возможность классифицировать каждый абзац / вход по одной метке.
Я не могу найти много руководств / блогов об использовании BERT с Keras (Tensorflow 2) для решения проблемы мультикласса, действительно многие из они предназначены для проблем с несколькими метками.