Spark SQL не поддерживает китайское имя столбца в SQL-запросе

Question

Я использую следующую версию SQL:

  test("SparkSQLTest") {
    val spark = SparkSession.builder().master(s"local[1]").config("spark.sql.cbo.enabled", true).appName("SparkSQLTest").getOrCreate()
    spark.createDataFrame(Seq(Person("Tom", 31), Person("Jack", 22))).createOrReplaceTempView("t")
    val df = spark.sql("select name, '' XYZ, '' 水果,  age from t ")
    df.show(false)
  }

Я добавляю константу, присваиваю ей имя 水果 ，, но Spark SQL не распознает ее

Answer 1

При создании объекта сеанса spark установите параметр кодирования как SJIS.Это кодировка символов