ошибка записи SQL-запроса в dataframe с помощью scala в блоках данных - PullRequest
Новая
       18

ошибка записи SQL-запроса в dataframe с помощью scala в блоках данных

0 голосов
/ 18 февраля 2019

просто выполнение этого запроса spark-sql в блоках данных работает нормально: 

%sql
select CONCAT(`tsArr[1]`,"-", `tsArr[0]`,"-", `tsArr[2]`," ", `tsArr[3]`) as time,
  cast (context._function as string) as funct, 
  cast (context._param as string) as param, 
  cast(context._value as string) as value from clickstreamDF
  lateral view explode(Context) as context

это выводит: 

time                funct   param           value
11-27-2017 08:20:33 Open    location        3424
11-27-2017 08:20:33 Open    Company Id      testinc
11-27-2017 08:20:33 Open    Channel Info    1
11-27-2017 08:20:33 Open    UserAgent       jack
11-27-2017 08:20:33 Open    Language        english

но когда я хочу поместить результат запроса в кадр данных, подобный этому

%scala    
val df_header = spark.sql(s"select CONCAT(`tsArr[1]`,"-", `tsArr[0]`,"-", `tsArr[2]`," ", `tsArr[3]`) as time,
  cast (context._function as string) as funct,
  cast (context._param as string) as param,
  cast(context._value as string) as value
  from clickstreamDF lateral view explode(Context) as context")

df_header.createOrReplaceTempView("clickstreamDF")

тогда это не удается.Он говорит:

error: ')' ожидается, но найден строковый литерал.

Я предполагаю, что это связано с "-" и "".Я пытался заменить или расширить на '' и `` или оставить "" полностью, но безрезультатно.что я делаю не так?

С уважением,

D.

1 Ответ

0 голосов
/ 18 февраля 2019

Чтобы избежать неоднозначности между кавычками (т. Е. ") для включения всей строки Spark SQL по сравнению с теми, которые используются в вашем операторе SQL, используйте тройные кавычки (""") для вмещающих кавычек.Вам также необходимо удалить backticks, которые включают эти tsArr[] s, как показано в следующем примере: 

import org.apache.spark.sql.functions._
import spark.implicits._

case class CT(_function: String, _param: String, _value: String)

val clickstreamDF = Seq(
  (Seq("27", "11", "2017", "08:20:33"), Seq(CT("f1", "p1", "v1"), CT("f2", "p2", "v2"))),
  (Seq("28", "12", "2017", "09:30:44"), Seq(CT("f3", "p3", "v3")))
).toDF("tsArr", "contexts")

clickstreamDF.createOrReplaceTempView("clickstreamTable")

val df_header = spark.sql("""
  select
    concat(tsArr[1], "-", tsArr[0], "-", tsArr[2], " ", tsArr[3]) as time,
    cast(context._function as string) as funct,
    cast(context._param as string) as param,
    cast(context._value as string) as value
  from
    clickstreamTable lateral view explode(contexts) as context
""")

df_header.show
// +-------------------+-----+-----+-----+
// |               time|funct|param|value|
// +-------------------+-----+-----+-----+
// |11-27-2017 08:20:33|   f1|   p1|   v1|
// |11-27-2017 08:20:33|   f2|   p2|   v2|
// |12-28-2017 09:30:44|   f3|   p3|   v3|
// +-------------------+-----+-----+-----+

Кстати, вы можете рассмотреть возможность использования API DataFrame, так как у вас уже естьданные в кадре данных: 

val df_header = clickstreamDF.
  withColumn("time",
    concat($"tsArr"(1), lit("-"), $"tsArr"(0), lit("-"), $"tsArr"(2), lit(" "), $"tsArr"(3))
  ).
  withColumn("context", explode($"contexts")).
  select($"time",
    $"context._function".cast("String").as("funct"),
    $"context._param".cast("String").as("param"),
    $"context._value".cast("String").as("value")
  )
...