Справочный текст для предварительной подготовки с ELMo / BERT

Question

Как сделать: spaCy упоминает, что ELMo / BERT очень эффективны в задачах НЛП, если у вас мало данных, так как эти два имеют очень хорошие свойства обучения переносу.

Мой вопрос: перенести обучение относительно какой модели. Если у вас есть языковая модель для собак, то найти хорошую языковую модель для кенгуру легче (мой случай связан с биологией и имеет много терминологии)?

Answer 1

Ну, BERT и ELMo обучаются на огромном корпусе (BERT обучается на 16 ГБ необработанного текста) данных. Это подразумевает, что вложения, созданные из этих моделей, являются общими, что позволит использовать возможности языковой модели в большинстве задач.

Поскольку ваша задача связана с биологией, вы можете взглянуть на альтернативы, такие как BioBERT (https://arxiv.org/abs/1901.08746)