Получение максимального значения из столбца данных временной метки в scala / spark

Question

Я работаю с фреймом данных искры, где он содержит все значения меток времени из Column 'IMG_CREATED_DT'.Я использовал метод collectAsList() и toString(), чтобы получить значения как List и преобразовать их в String.Но я не понимаю, как извлечь из него максимальное значение. Пожалуйста, ознакомьте меня с этим.

 val query_new =s"""(select IMG_CREATED_DT from 
 ${conf.get(UNCAppConstants.DB2_SCHEMA)}.$table)"""

 println(query_new)

 val db2_op=ConnectionUtilities_v.createDataFrame(src_props,srcConfig.url,query_new)

val t3 = db2_op.select("IMG_CREATED_DT").collectAsList().toString

Как получить максимальное значение из t3.

Answer 1

Вы можете рассчитать максимальное значение из самого кадра данных.Попробуйте следующий пример.

val t3 = db2_op.agg(max("IMG_CREATED_DT").as("maxVal")).take(1)(0).get(0)