Считайте CSV-файл в информационный кадр и получите к нему доступ, используя scala

Question

У меня есть CSV-файл с такими данными, как показано ниже -

a1, 1 а2, 2 а3, 3

Я хочу получить вывод как 1, когда я ставлю фильтр для фильтра типа a1 (a1) ._ 2.

Answer 1

Таким образом, точный синтаксис будет зависеть от вашей конкретной версии Spark. В Spark v2.4.3 вы могли бы сделать это:

val df: DataFrame = sparkSession.sqlContext.read.option("header", 
"false").csv("/path/to/some.csv")

Оттуда вы можете применять операции с кадрами данных для фильтрации ваших данных:

df.select($"_c1").filter($"_c0" === "a1").show