Как загрузить образцы данных для Spark ML, используя Scala локально?

Question

Я использую Spark локально на моем Mac.Моя версия 2.2.1, и я пытаюсь воспроизвести пример классификации, используя Наивный Байес, используя эту ссылку - https://spark.apache.org/docs/2.2.1/ml-classification-regression.html#naive-bayes

. Для этого я не могу загрузить данные выборки

import org.apache.spark.ml.classification.NaiveBayes
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator

// Load the data stored in LIBSVM format as a DataFrame.
val data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

Выше кода выдает эту ошибку -

org.apache.spark.sql.AnalysisException: Path does not exist: file:/Users/my_user_name/data/mllib/sample_libsvm_data.txt;
  at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:626)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:350)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:350)
  at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
  at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
  at scala.collection.immutable.List.foreach(List.scala:381)
  at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
  at scala.collection.immutable.List.flatMap(List.scala:344)
  at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:349)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:156)
  ... 50 elided

Как загрузить эти данные, чтобы я мог продолжить дальнейший анализ?

Answer 1

Вы можете сначала загрузить его в RDD ...

val textFile = sc.textFile("data/mllib/sample_libsvm_data.txt")

Затем преобразовать в DataFrame, как показано ниже (при условии, что вы знаете схему) ...

val df = textFile.toDF(dfSchema)