Spark SQL как сервис

Question

В настоящее время разрабатывается приложение, которое извлекает данные из текстовых файлов (учебников), вычисляет значения tf-idf и сохраняет их в таблице кустов с помощью spark mllib. Мне нужно искать в корпусе ключевые слова, чтобы найти название книги, как служба отдыха. Доступен ли какой-либо REST-сервис для использования Spark SQL в качестве сервиса для выполнения запроса к нему? или возможно ли использовать Livy для выполнения вышеуказанного требования? Заранее спасибо.

Answer 1

для этого можно использовать livy, но если вы хотите выполнять только sql-запросы к таблицам кустов, было бы намного проще использовать сервер spark thrift.
Сервер spark thrift - это сервер jdbc, который позволяет подключаться к любому клиенту jdbc и выполнять запросы sql.

Вы можете найти больше информации здесь:
https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-thrift-server.html