Scala оптимизация Dataframe - PullRequest
0 голосов
/ 08 мая 2020

Как я могу воспользоваться преимуществами оптимизации Scala Spark Dataframe при хранении, перемещении и обработке данных?

  val lasVegasBusiness = business.filter("city=='Las Vegas'")
  val stars = review.withColumn("stars",col("stars").cast(DoubleType))
  val startReview = review.filter("stars > 4")
  lasVegasBusiness.join(startReview,lasVegasBusiness("business_id") === 
  startReview("business_id"),"inner")
...