BERT с 256 скрытыми вложениями

Question

Я пытаюсь использовать BERT, чтобы получить вложения слов из разных наборов данных для моей задачи НЛП. Я использовал 'bert_base_uncased' с встраиванием 768 слов, но ему не хватает памяти. Выпущены версии с встраиванием 256 слов? Или я могу сжать 768 скрытых встраиваемых файлов? Спасибо!

Answer 1

Я не слишком уверен насчет версий вложения из 256 слов для BERT, но я знаю, что более новый ALBERT использует намного меньше памяти по сравнению с BERT. Кроме того, если вы постоянно сталкиваетесь с проблемами OOM, вы можете попробовать 16-битную или смешанную подготовку. Это хорошо работает с более новыми картами RTX (и некоторыми другими, но не со старыми графическими процессорами)

У Nvidia есть библиотека , но это не очень удобно для начинающих, или вы также можете рассмотреть возможность использования Pytorch Lightning для преобразования вашей модели в 16-битную.