используйте Apache Livy в веб-приложении (flask) - PullRequest
Новая
       26

используйте Apache Livy в веб-приложении (flask)

1 голос
/ 10 июля 2020

Я создаю веб-приложение с некоторыми функциями машинного обучения в реальном времени с Flask. Я хочу использовать Spark Mllib для анализа данных и получения результата в приложении в реальном времени. Затем я нашел Ливи, который, как я подумал, может подойти для моего проекта. Я прочитал документацию Livy и понял, что могу отправить фрагмент кода для Spark cluster с помощью Livy вот так 

data = {'code': textwrap.dedent("""
val NUM_SAMPLES = 100000;
val count = sc.parallelize(1 to NUM_SAMPLES).map { i =>
  val x = Math.random();
  val y = Math.random();
  if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _);
println(\"Pi is roughly \" + 4.0 * count / NUM_SAMPLES)
""")}

Моя ситуация такова, что у меня есть огромное количество данных из серверной части моего приложения (тысячи строк с форматированными данными json), которые я хочу проанализировать с помощью Spark. У меня вопрос: как я могу передать данные в Spark с помощью Livy? Я не могу найти рабочего примера с большим набором данных.

...