Искра DataFrame выбрать один элемент из массива, но значение не является правильным

Question

df.select($"onenews".getItem(1), $"onenews").show(5,false)

результат показывает следующее: значение поля getItem (1) неверно, и столбец "onenews", который я получил, взят из разделенных строк.

Я знаю причину, это из-за ленивых вычислений spark, столбец onenews вычисляется из функции, которая содержит случайное перемешивание.

Answer 1

Я не совсем понял ваш вопрос, согласно моему пониманию, если вы хотите извлечь 0-й элемент из столбца onenews, вам нужно использовать getItem (0) вместо getItem (1).

образец кода:

df.select(df.col("onenews").getItem(0)).show()