Я хочу создать приложение, в котором я смогу вводить любые ключевые слова в Твиттере, бэкэнд будет сканировать связанные твиты и возвращать анализ настроений твитов в процентах от отрицательных, нейтральных и положительных твитов.Например, я ввожу ключевое слово «pepsi», приложение будет выводить что-то вроде этого: твиты, связанные с pepsi, содержат 10% негативных настроений, 10% нейтральных настроений и 80% положительных отзывов.
Так что проблема в том,как обучить алгоритм машинного обучения, который я могу использовать в бэкэнде для проведения такого анализа настроений по различным темам.Основная идея здесь - трансферное обучение, где мы обучаем одну модель на большом количестве помеченных данных и используем ее в качестве основы для обучения других данных.Трансфертное обучение имеет ограничения в НЛП в основном потому, что знания, полученные в одной задаче, недостаточно широки, чтобы перейти к другим задачам.Например, я подготовил хорошую нейронную сеть для анализа настроений авиакомпаний с точностью прогноза более 70%.Однако, когда я использую ту же модель для анализа настроений на пепси, я получаю лишь около 30% точности прогноза.
Я провел некоторое исследование и заметил, что универсальное встраивание предложений Google довольно популярно.Однако я понял, что это новый способ преобразования входного текста в вектор признаков, а не универсальный алгоритм.Интересно, кто-нибудь может указать мне, куда мне идти?Большое спасибо заранее!