Анализ настроений с использованием Spark и Stanford NLP API

Question

Когда я захотел сделать проект по анализу настроений, я много раз искал в Интернете, и, наконец, я попал на этот сайт, который объяснил код, но не объяснил, как использовать искру в отношении кода, я имею в виду, где добавить код Сайт: http://stdatalabs.blogspot.in/2017/09/twitter-sentiment-analysis-using-spark.html?m=1

Будет очень полезно, если кто-нибудь сможет полностью объяснить меня, так как я начинающий, и это мой первый проект по большим данным. Спасибо.

Answer 1

Внизу есть ссылка на github (https://github.com/stdatalabs/sparkNLP-elasticsearch), вы должны проверить это (буквально)

Основной класс com.stdatalabs.SparkES.TwitterSentimentAnalysis в соответствии с pom.xml

Таким образом, выполнение mvn package даст вам исполняемый файл .jar (пользователь java -jar)

При запуске jar вам будет предложено ввести некоторые настройки твиттера (ключи и т. Д.) И сохранить их в локальном кластере es с использованием жестко закодированного индекса (& mapping) twitter_020717/tweet

Теперь вы можете изменять код так, как хотите, создавать, запускать и проверять результаты.