Spark отфильтровывает столбцы и создает dataFrame с оставшимися столбцами, а также создает dataFrame с отфильтрованными столбцами

Question

Я новичок в Spark.

Я загрузил файл CSV в фрейм данных Spark, скажем, OriginalDF

Теперь я хочу 1. отфильтровать некоторые столбцы из него и создать новыйФрейм данных исходного DF 2. Создайте фрейм данных из извлеченных столбцов

Как эти 2 фрейма данных могут быть созданы в Spark Scala?

Answer 1

с помощью select, вы можете выбрать, какие столбцы вы хотите.

val df2 = OriginalDF.select($"col1",$"col2",$"col3")

используя фильтр, вы сможете фильтровать строки.

val df3 = OriginalDF.where($"col1" < 10)

другой способ фильтрации данных - это использование where. Оба фильтра и где синонимы, так что вы можете использовать их взаимозаменяемо.

val df3 = OriginalDF.filter($"col1" < 10)

Примечание select и filter возвращают новый фрейм данных в результате.