Анализ в реальном времени и анализ настроений

Question

Мой проект состоит в том, чтобы сделать прогноз, выполняя анализ настроений твитов (Крикет).Я буду собирать твиты как поток.Для этого мне нужно сделать анализ твитов в реальном времени, а затем анализ настроений твитов.Я использую Kafka и Spark Streaming.

Как проводить анализ твитов в реальном времени с помощью kafka?Мне нужны те твиты, которые связаны с крикетом. После анализа в реальном времени, как провести анализ настроений с помощью искровой потоковой передачи?

Подскажите, пожалуйста, на каком языке лучше всего выполнять эту задачу, Python или Java?

Answer 1

Я предлагаю пойти с Python, собирающим твиты в виде потока - используйте Kafka: https://www.rittmanmead.com/blog/2017/01/getting-started-with-spark-streaming-with-python-and-kafka/

Для анализа в реальном времени по твитам вам понадобится nltk, word2vec или какой-нибудь API для обработки естественного языка: https://github.com/ankitagarwal/nltk_kafka_twitter

https://github.com/emumba-com/live_twitter_sentiment_analysis

Надеюсь, это даст вам хороший старт для вашей задачи.