Spark Структурированная потоковая передача: получить второй ряд агрегации окна за 1 минуту

Question

Я использую потоковую структуризацию с искрой, где мне нужно взять значение из второй строки окна.

Допустим, это данные в моем 1-минутном окне

|| second | col1 | col 2 ||
===========================
     1        a      b
     2        c      d
     .        .      .
     60       x      y

Таким образом, в основном я хочу сослаться на вторую строку в моей агрегации окон, т.е.в наличии

 val aggregates = dataEvents
  .withWatermark("timestamp", "5 seconds")
  .groupBy(window($"timestamp", "1 minute", "1 minute", "0 seconds"))
  .agg(
    first("col1").alias("first"), // This i have to make from second row.
    last("col1").alias("last")
    )