В Spark я не могу отфильтровать по существующему столбцу

Question

Я пытаюсь отфильтровать по одному из столбцов в кадре данных, используя искру. Но свечи ниже погрешности,

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'Inv. Pty' given input columns: [Pstng Date, Name 1, Inv. Pty, Year]

invDF.filter(col("Inv. Pty") === "2001075").show()

Answer 1

Проблема в том, что Spark предполагает наличие столбца с точкой в ​​качестве столбца структуры. Чтобы противостоять этому, вам нужно использовать обратную косую черту "` ". Это должно работать:

invDF.filter(col("`Inv. Pty`") === "2001075").show()

Answer 2

Попробуйте это с обратным `

invDF.filter(col("`Inv. Pty`") === "2001075").show()

Answer 3

Не уверен, но указаны столбцы ввода: [Pstng Date, Name 1, Inv. Pty, Year] в столбце есть дополнительный пробел Inv. Пти, может быть в этом проблема.