удалить элементы списка в кадре данных в Scala - PullRequest
0 голосов
/ 27 мая 2018

Я новичок в scala и борюсь с этими вариантами использования.Как я могу удалить часть элементов списка из столбца в dataframe. У меня есть список имен, и мне нужно удалить имена, если он присутствует в dataframe.

У меня есть такой фрейм данных, как

utid|description
12342|my name is daniel
2345|my name is harry and i love sports
2122|his wife sofia is my schoolmate

и список списка {"harry", "daniel"}

, и результат должен быть как

utid|description
12342|my name is 
2345|my name is  and i love sports
2122|his wife sofia is my schoolmate

1 Ответ

0 голосов
/ 27 мая 2018

Самый простой способ - использовать regexp_replace встроенную функцию как

val list = List("harry","daniel")

import org.apache.spark.sql.functions._
df.withColumn("description", regexp_replace(col("description"), list.mkString("(", ")|(", ")"), "")).show(false)

, которая должна дать вам

+-----+-------------------------------+
|utid |description                    |
+-----+-------------------------------+
|12342|my name is                     |
|2345 |my name is  and i love sports  |
|2122 |his wife sofia is my schoolmate|
+-----+-------------------------------+

Надеюсь, ответ полезен

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...