Совместимые версии Spark для Sparklyr - PullRequest
Новая
       10

Совместимые версии Spark для Sparklyr

0 голосов
/ 17 мая 2019

Есть ли авторитетный источник, для которого версии Spark совместимы со Sparklyr? Или кто-нибудь может пролить свет на то, как это определить?

Я нахожусь на macOS, и мне не удалось использовать Spark 2.4.x; все они не смогли подключиться, обычно получая ошибку « Не удалось подключиться к sparklyr к порту 8880 ... ».

Наконец-то я начал работать с Spark 2.3.0. Однако, если я пытаюсь установить 2.3.3, я получаю сообщение об ошибке: 

> spark_install("2.3.3")
Error in spark_install_find(version, hadoop_version, installed_only = FALSE,  : 
  Spark version not available. Find available versions, using spark_available_versions()

Доступные версии: 

> spark_available_versions()
  spark
1   1.6
2   2.0
3   2.1
4   2.2
5   2.3
6   2.4

Итак, это выглядит как "авторитетный" список, но 2.4 не работает.

Кроме того, 2.3 означает только 2.3.0? Почему бы не поддерживать релизы патчей?

1 Ответ

1 голос
/ 17 мая 2019

Вы можете перечислить второстепенные выпуски с spark_available_versions(show_minor = T) и, да, sparklyr выпусками патчей поддержки.По состоянию на последнюю версию: 

   spark
1  1.6.3
2  1.6.2
3  1.6.1
4  1.6.0
5  2.0.0
6  2.0.1
7  2.0.2
8  2.1.0
9  2.1.1
10 2.2.0
11 2.2.1
12 2.3.0
13 2.3.1
14 2.3.2
15 2.3.3
16 2.4.0
17 2.4.1
18 2.4.2
19 2.4.3
...