Картографирование в Spark с использованием Java - PullRequest
0 голосов
/ 01 марта 2020

У меня есть имя файла myFile в следующем формате:

1,A,2,B
1,A,3,C
2,B,4,D

Я хочу отобразить второе индексированное значение каждой строки в самой строке:

A -> 1,A,2,B
A -> 1,A,3,C
B -> 2,B,4,D

Как мне добиться этого с помощью Spark Java?

1 Ответ

0 голосов
/ 01 марта 2020

Похоже, вы читаете CSV. Spark изначально поддерживает их, так как Spark 2.x

Не используйте SparkContext, используйте SparkSession

Просто для печати кадра данных вам нужно что-то вроде

spark.csv("C:\\myFile").show()
...