как отфильтровать карту RDD в Scala по элементам не в кортеже

Question

У меня есть пример подсчета слов. Если я хочу отфильтровать одно общее слово, я могу сделать это следующим образом, где wordList - это кортеж:

val filterWords = wordList.filter(x => x != "to")

Но более полезно создать список слов для фильтрации:

val filterWords = ("a", "to", "the", "of", "I", "you")

Как вы используете это в фильтре выше? Или как я могу это сделать, как это сделано в SQL?

where wordList not in ("a", "to", "the", "of", "I", "you")

Answer 1

val filterWords = Set("a", "to", "the", "of", "I", "you")

wordList.filterNot(filterWords.contains(_))

filterWords.contains вернет true, если и только если рассматриваемый элемент wordList находится в filterWords. filterNot будет проходить через элементы, для которых вызов contains возвращает false.

Answer 2

То, что вы создали, является кортежем, а не списком.

val filterWords = List("a", "to", "the", "of", "I", "you")

Тогда вы можете использовать

wordlist.filter(x => filterwords.contains(x))

Также взгляните на полный API Список