почему я не могу использовать функцию limitByKey () при использовании сеанса spark

Question

val spark = SparkSession.builder().appName("Wordcount").master("local[*]").getOrCreate()
val textf = spark.read.textFile("in/fruits.txt")
import spark.implicits._
val textf2 = textf.flatMap( x => x.split(" ") )
val textf3 = textf2.filter ( x => x.length > 0)
val textf4 = textf3.map( x => (x,1))  // I get only reduce() function

почему reduByKey недоступен?

Answer 1

Вы используете набор данных [String], когда читаете с использованием сеанса спарка. Метод reduByKey недоступен в DataSet, но доступен в RDD. Вы можете попробовать это:

textf4.map( x => (x,1)).rdd.reduceByKey(...)