Какая архитектура нейронной сети дает лучшую точность для классификации текста?

Question

Я пытался и искал, обнаружил, что RNNs дают лучшие результаты.Что использовать: LSTM или GRU или традиционные RNN или CNN?

Answer 1

эти архитектуры можно рассматривать как «ванильные», потому что есть много продвинутых архитектур, которые зависят от них, новая называется ULMFiT .фактически дает некоторый современный результат в классификации и прост для понимания и реализации с помощью библиотеки fast.ai.БЕРТ тоже хороший, но, на мой взгляд, более сложный для понимания.

Answer 2

Архитектуры, о которых вы говорите, действительно бесполезны семейств архитектуры.Производительность зависит от деталей и (конечно) задачи.Более того, эти два стиля часто комбинируются по-разному, поэтому на самом деле это не выбор «или-или».

Тем не менее, на момент написания CNN-подобного BERT и RNN-подобные ELMo архитектуры популярны.Предварительно обученные модели и код доступны для обоих, и они оба хорошо справляются с различными задачами, включая классификацию.Почему бы не попробовать их обоих?