Как использовать функцию ASCII в Spark

Question

Мне потребовалась помощь в использовании функции Spark ASCII (строковая функция sparkSQl) с использованием scala

import org.apache.spark.sql.SparkSession
import spark.implicits._
import org.apache.spark.sql.functions

val a = sc.parallelize(Array("Santosh","Adithya"))
select ascii('Santosh')

Мне нужно было значение ascii для santosh и значение ascii для rdd a

Answer 1

ascii является частью API-интерфейса spark-sql и может использоваться только для DataFrames / Datasets.

Преобразование вашего RDD в набор данных с использованием, а затем использование функции ascii

import spark.implicits._
val a = sc.parallelize(Array("Santosh","Adithya"))

case class Person(val fullName: String)
val ds = a.map(Person).toDS.selectExpr("ascii(fullName)")
ds.show