Проблема с заголовками на Scala из CSV-файла

Question

Я пытаюсь загрузить CSV-файл, используя Scala и Apache Spark, но, как только я задаю схему с помощью Spark Structype, у меня возникает эта проблема, пытающаяся указать заголовки файла CSV-

scala> import org.apache.spark

import org.apache.spark


scala> import org.apache.spark.sql

import org.apache.spark.sql


scala> import org.apache.spark.sql.SQLContext

import org.apache.spark.sql.SQLContext


scala> import org.apache.spark.sql.types

import org.apache.spark.sql.types


scala> import org.apache.spark.sql.functions

import org.apache.spark.sql.functions


scala> import org.apache.spark.ml.clustering.KMeans

import org.apache.spark.ml.clustering.KMeans


scala> import org.apache.spark.ml.evaluation.ClusteringEvaluator

import org.apache.spark.ml.evaluation.ClusteringEvaluator


scala> import org.apache.spark.ml.feature.VectorAssembler

import org.apache.spark.ml.feature.VectorAssembler


scala> val sqlContext = new SQLContext(sc)

warning: there was one deprecation warning; re-run with -deprecation for details

sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@f24a84


scala> import sqlContext.implicits

import sqlContext.implicits


scala> import sqlContext

| val schema = StructType(Array(StructField("ID_CALLE",IntegerType,true),StructField("TIPO", IntegerType, true),StructField("CALLE",IntegerType,true),StructField("NUMERO",IntegerType,true), StructField("LONGITUD",DoubleType,true),StructField("LATITUD",DoubleType,true),StructField("TITULO",IntegerType,true)))

<console>:2: error: '.' expected but ';' found.

val schema = StructType(Array(StructField("ID_CALLE",IntegerType,true),StructField("TIPO", IntegerType, true),StructField("CALLE",IntegerType,true),StructField("NUMERO",IntegerType,true), StructField("LONGITUD",DoubleType,true),StructField("LATITUD",DoubleType,true),StructField("TITULO",IntegerType,true)))

Answer 1

В вашем коде есть небольшая ошибка опечатки.Если вы внимательно изучите свой код, вы найдете ниже ошибку

scala> import sqlContext

| val schema = StructType(Array(StructField("ID_CALLE",IntegerType,true),StructField("TIPO", IntegerType, true),StructField("CALLE",IntegerType,true),StructField("NUMERO",IntegerType,true), StructField("LONGITUD",DoubleType,true),StructField("LATITUD",DoubleType,true),StructField("TITULO",IntegerType,true)))

Везде, где вы вводите новую строку кода только после scala>, но в коде выше вы печатаете после |

Просто введите ваш код, как показано ниже

scala> import sqlContext._
scala> val schema = StructType(Array(StructField("ID_CALLE",IntegerType,true),StructField("TIPO", IntegerType, true),StructField("CALLE",IntegerType,true),StructField("NUMERO",IntegerType,true), StructField("LONGITUD",DoubleType,true),StructField("LATITUD",DoubleType,true),StructField("TITULO",IntegerType,true)))