Как удалить ненужные строки в кадре данных на основе списка элементов или описаний

Question

У меня есть датафрейм с полными IP-адресами.У меня есть список IP-адресов, которые я хочу удалить из моего кадра данных.Я хотел иметь новый фрейм данных «Filter_list» после того, как все IP-адреса будут удалены в соответствии с «LISTA».

Я видел пример на Как использовать предложение NOT IN в состоянии фильтра в искре .Но я не могу заставить его работать даже перед тем, как сделать "не" на фильтре. Пожалуйста, помогите.

Пример:

var df = Seq("119.73.148.227", "42.61.124.218", "42.61.66.174", "118.201.94.2","118.201.149.146", "119.73.234.82", "42.61.110.239", "58.185.72.118", "115.42.231.178").toDF("ipAddress")

var lista = List("119.73.148.227", "118.201.94.2")

var filtered_list = df.filter(col("ipAddress").isin(lista))

Я вижу следующее сообщение об ошибке:

java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon List(119.73.148.227, 118.201.94.2)
  at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:77)
  at org.apache.spark.sql.catalyst.expressions.Literal$$anonfun$create$2.apply(literals.scala:163)
  at org.apache.spark.sql.catalyst.expressions.Literal$$anonfun$create$2.apply(literals.scala:163)
  at scala.util.Try.getOrElse(Try.scala:79)
  at org.apache.spark.sql.catalyst.expressions.Literal$.create(literals.scala:162)
  at org.apache.spark.sql.functions$.typedLit(functions.scala:113)
  at org.apache.spark.sql.functions$.lit(functions.scala:96)
  at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:787)
  at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:787)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
  at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
  at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35)
  at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
  at scala.collection.AbstractTraversable.map(Traversable.scala:104)
  at org.apache.spark.sql.Column.isin(Column.scala:787)
  ... 52 elided

Answer 1

Вы можете использовать метод exc для фрейма данных.

var df = Seq("119.73.148.227", "42.61.124.218", "42.61.66.174", "118.201.94.2","118.201.149.146", "119.73.234.82", "42.61.110.239", "58.185.72.118", "115.42.231.178").toDF("ipAddress")

var lista = Seq("119.73.148.227", "118.201.94.2").toDF("ipAddress")

var onlyWantedIp = df.except(lista)

Answer 2

isin принимает переменные, а не List.Вам придется распространить свой список на отдельные элементы, используя :_* надпись:

var filtered_list = df.filter(col("ipAddress").isin(lista: _*))