Ошибка импорта Spark Azure HDI sqlContext.implicits._ error

Question

У меня проблемы с импортом данных из CSV-файла хранилища BLOB-объектов Azure в записную книжку Spark by Jupyter.Я пытаюсь реализовать один из учебников о ML и Spark.Когда я заполняю блокнот Jupyter следующим образом:

import sqlContext.implicits._
val flightDelayTextLines = sc.textFile("wasb://sparkcontainer@[my account].blob.core.windows.net/sparkcontainer/Scored_FlightsAndWeather.csv")

case class AirportFlightDelays(OriginAirportCode:String,OriginLatLong:String,Month:Integer,Day:Integer,Hour:Integer,Carrier:String,DelayPredicted:Integer,DelayProbability:Double)

val flightDelayRowsWithoutHeader = flightDelayTextLines.map(s => s.split(",")).filter(line => line(0) != "OriginAirportCode")

val resultDataFrame = flightDelayRowsWithoutHeader.map(
    s => AirportFlightDelays(
        s(0), //Airport code
        s(13) + "," + s(14), //Lat,Long
        s(1).toInt, //Month
        s(2).toInt, //Day
        s(3).toInt, //Hour
        s(5), //Carrier
        s(11).toInt, //DelayPredicted
        s(12).toDouble //DelayProbability
        )
).toDF()

resultDataFrame.write.mode("overwrite").saveAsTable("FlightDelays") 

я получаю ошибку, подобную этой:

SparkSession available as 'spark'.
<console>:23: error: not found: value sqlContext
       import sqlContext.implicits._
              ^

Я использовал сокращенные пути, а также ("wasb:///sparkcontainer/Scored_FlightsAndWeather.csv") эту же ошибку.Есть идеи?БР, Марек

Answer 1

Когда я вижу ваш фрагмент кода, я не вижу, что sqlContext создан, обратитесь к следующему коду и получите sqlContext, а затем начните его использовать.

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._