От R до Scala: импорт библиотек

Question

Я пришел из R, и я пытаюсь использовать scala для изучения возможностей, связанных с наукой о данных. Я не имею никакого опыта в программировании или информатике, мой опыт в значительной степени статистический. Пока что я использую только scala из REPL, который мне нравится, потому что он напоминает мой консоль R.

У меня возникают проблемы при попытке импортировать новые библиотеки. В R, в консоли R, я просто набрал бы

library(tidyverse)

В scala я пытаюсь сделать что-то подобное, однако на самом деле это не работает. Вот что я вижу:

Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_172).
Type in expressions for evaluation. Or try :help.

scala> import org.apache.spark.mllib.linalg.vectors
<console>:11: error: object apache is not a member of package org
       import org.apache.spark.mllib.linalg.vectors
              ^

Что я делаю не так? Спасибо

Answer 1

Apache Spark - это не простой пакет, который можно импортировать из стандартной библиотеки Scala, а скорее отдельная экосистема, состоящая из JAR-файлов с Java / Scala API, администраторов кластеров, распределенных файловых систем, различных сценариев запуска и интерактивные оболочки (для Scala, но также и для Python). Это не единственный интерактивный скрипт, который вы запускаете на своем компьютере. Это довольно сложный конгломерат взаимодействующих программ, работающих в кластере.

У вас есть несколько вариантов:

1. Использовать SBT: объявить spark как зависимость в build.sbt, запустить его в автономном режиме с консоли SBT или как правильно построенный проект с run
2. По сути то же самое, что и 1., но для управления зависимостями используется Аммонит с $ivy импортом.
3. Просто зайдите на сайт Spark и следуйте инструкциям по установке. Среди прочего, он должен рано или поздно дать вам скрипт, который запускает интерактивный Scala REPL со всеми зависимостями, необходимыми для запуска заданий Spark.

Я бы предложил перейти прямо к шагу 3. и скачать Spark отсюда .