spark sql spark.range (7) .select ('*,' id% 3 как "bucket"). show // как понять ('*,' id% 3 как "bucket")

Question

spark.range(7).select('*,'id % 3 as "bucket").show
// result:

    +---+------+
| id|bucket|
+---+------+
|  0|     0|
|  1|     1|
|  2|     2|
|  3|     0|
|  4|     1|
|  5|     2|
|  6|     0|
+---+------+

spark.range(7).withColumn("bucket",$"id" % 3).show
//result:

    +---+------+
| id|bucket|
+---+------+
|  0|     0|
|  1|     1|
|  2|     2|
|  3|     0|
|  4|     1|
|  5|     2|
|  6|     0|
+---+------+

enter code here

Похоже, ваш пост - это в основном код; пожалуйста, добавьте более подробную информацию. Похоже, ваш пост - это в основном код; пожалуйста, добавьте более подробную информацию. Похоже, ваш пост - это в основном код; пожалуйста, добавьте более подробную информацию. Похоже, ваш пост - это в основном код; пожалуйста, добавьте еще несколько деталей.

Я хочу знать, что делать с * и всем оператором select Является ли нижняя часть этих двух способов эквивалентной?

Answer 1

spark.range (7) .select ('*,' id% 3 как "bucket"). Show

spark.range (7) .select ($ "*", $ "id" % 3 как "ведро"). Show

spark.range (7) .select (col ("*"), col ("id")% 3 как "ведро"). Show

val df = spark.range (7)

df.select (df ("*"), df ("id")% 3 as "bucket"). Show

Эти четыре способа эквивалентны; // https://spark.apache.org/docs/2.4.4/api/scala/index.html#org. apache .spark. sql .Column