как преобразовать org.apache.spark.sql.DataFrame с одной строкой и одним столбцом в целочисленное значение

Question

рассмотрите возможность запроса данных улья изнутри искры, используя

val selectMemCntQry = "select column1 from table1 where column2 = "+col_2_val
    val table_col2 = sparkSession.sql(selectMemCntQry)
    val diff = table_col2 - file_member_count

, где file_member_count - целочисленное значение. Я знаю, что результат table_col2 всегда собирается в одно число. Я хочу вычесть результат запроса из целого числа.value.But ошибка, с которой я сталкиваюсь, является значением - не является членом org.apache.spark.sql.DataFrame

Answer 1

import org.apache.spark.sql.Row

val Row(colum1: Integer) = sparkSession.sql(selectMemCntQry).first
colum1 - file_member_count

или

sparkSession.sql(selectMemCntQry).first.getAs[Integer]("column1") - file_member_count

или

sparkSession.sql(selectMemCntQry).as[Integer].first - file_member_count