Как передать переменные в путь spark.read.csv с помощью PySpark

Question

Я использую PySpark для чтения каждый день CSV-файла, который называется что-то вроде AA_ "current_date", где, конечно, "current_date" меняется каждый день.

Проблема в том, что внутри пути spark.read.csv я хотел бы поместить переменную типа /AA_$current_date.csv, но сейчас я не совсем понимаю, как этого добиться.

Может кто-нибудьпомогите пожалуйста?

Answer 1

>>> from datetime import date
>>> today = date.today().strftime("%d-%m-%Y")
>>> path = "AA_" + today + ".csv"
>>> base_path = "/home/user/"
>>> finalpath = base_path + path
>>> finalpath
'/home/user/AA_26-09-2019.csv'
>>> df1 = spark.read.format("csv").option("header","true").load(finalpath)