Соединения с Spark & ​​MapR DB - PullRequest
       31

Соединения с Spark & ​​MapR DB

0 голосов
/ 12 сентября 2018

Я новичок в распространении MapR. Мне нужны операции чтения и записи в БД MapR с использованием Spark и Scala. Но я не могу найти точную банку для этих операций.

Но в

https://mapr.com/docs/home/Spark/WorkingwithComplexJSONDocTypes.html 

они упоминаются как

import com.mapr.db.spark._

val userprofilesRDD = sc.loadFromMapRDB("/tmp/user_profiles")

для загрузки данных из MapRDB.

Но у меня вопрос, где этот пакет (com.mapr.db.spark._) доступен. Для загрузки этого пакета я не могу найти правильный источник (также в репозитории maven).

Пожалуйста, укажите мне правильный подход к выполнению этих задач. Я знаю, что все это основные операции. Поскольку я новичок в этом, не могу найти это сделать.

Информация о версии:

MapR: 6.0.1-мар

Искра: 2.2.1

Скала: 2.11.8

Gradle: 3,5

Пожалуйста, укажите, какой идентификатор артефакта мне нужно использовать для выполнения этих операций.

Заранее спасибо.

1 Ответ

0 голосов
/ 12 сентября 2018

Эти классы находятся в mapr-spark-.rpm выпуска MapR Expansion Pack (MEP) для любой версии, которую вы используете. Классы, которые вы упоминаете, находятся в maprdb-spark-.jar в этом RPM. После установки RPM mapr-spark вы найдете jar в каталоге / opt / mapr / spark / spark- / jars.

...