Как отправить работу Python SnappyData - PullRequest
Новая
       33

Как отправить работу Python SnappyData

0 голосов
/ 18 мая 2019

Документация SnappyData (docs / program_guide / using_the_spark_shell_and_spark-submit.md) показывает, что можно отправить программу Python в Spark (основной порт по умолчанию 7077), которая может использовать таблицы SnappyData:

$ ./bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark: // masterhost: 7077 --conf spark.snappydata.connection = locatorhost: clientPort $ SNAPPY_HOME / examples / jars / quickstart.jar

Мой вопрос: Spark port 7077, похоже, не слушает.Должен ли он быть настроен вручную?

(Предположение: я предполагаю, что порт 7077 принадлежит Spark, который поставляется с SnappyData, а не отдельным кластером Spark.)

1 Ответ

0 голосов
/ 25 мая 2019

Да, JVM сервера данных Snappy не могут запускать Python "изнутри".Но вы можете использовать те же узлы для запуска Spark Master и рабочих - это очень легкий вес.Запустите рабочих, расположенных вместе с узлами, которые вы используете для запуска SnappyData «серверы данных».Обратите внимание, что независимо от того, выполняются ли задания (например, Java, scala) на серверах данных или нет, им нужны похожие ресурсы (ЦП, память).

...