Искра Scala выбор кадра данных

Question

Я пытаюсь преобразовать код pyspark в spark Scala, и я столкнулся с приведенной ниже ошибкой:

код pyspark

import pyspark.sql.functions as fn
valid_data = bcd_df.filter(fn.lower(bdb_df.table_name)==tbl_nme)
.select("valid_data").rdd
.map(lambda x: x[0])
.collect()[0]

С bcd_df dataframe Я получаю столбец с table_name и сопоставление значения table_name с аргументом tbl_name, который я передаю, а затем выбирает данные столбца valid_data.

Вот код в искре scala.

val valid_data =bcd_df..filter(col(table_name)===tbl_nme).select(col("valid_data")).rdd.map(x=> x(0)).collect()(0)

Ошибка, как показано ниже:

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`abcd`' given input 
columns:
Not sure why it is taking abcd as column.

Любая помощь приветствуется.

Версия scala2.11.8 spark2.3

Answer 1

Вложите table_name столбец с quotes(") в col

val valid_data =bcd_df.filter(col("table_name")===tbl_nme).select(col("valid_data")).rdd.map(x=> x(0)).collect()(0)