Как создать фрейм данных на основе значения даты, переданного в виде строки в pyspark? - PullRequest
Новая
       41

Как создать фрейм данных на основе значения даты, переданного в виде строки в pyspark?

0 голосов
/ 02 мая 2018

У меня есть набор данных, как показано ниже: файл: test.txt

149|898|20180405
135|379|20180428
135|381|20180406
31|898|20180429
31|245|20180430
135|398|20180422
31|448|20180420
31|338|20180421

Я создал фрейм данных, выполнив приведенный ниже код. 

spark = SparkSession.builder.appName("test").getOrCreate()
sc = spark.sparkContext
sqlContext = SQLContext(sc)
df_transac = spark.createDataFrame(sc.textFile("test.txt")\
    .map(lambda x: x.split("|")[:3])\
    .map(lambda r: Row('cCode'= r[0],'pCode'= r[1],'mDate' = r[2])))
df_transac .show()

+-----+-----+----------+
|cCode|pCode|     mDate|
+-----+-----+----------+
|  149|  898| 20180405 |
|  135|  379| 20180428 |
|  135|  381| 20180406 |
|   31|  898| 20180429 |
|   31|  245| 20180430 |
|  135|  398| 20180422 |
|   31|  448| 20180420 |
|   31|  338| 20180421 |
+-----+-----+----------+

мой df.printSchemashow, как показано ниже: 

df_transac.printSchema()
root
 |-- customerCode: string (nullable = true)
 |-- productCode: string (nullable = true)
 |-- quantity: string (nullable = true)
 |-- date: string (nullable = true)

но я хочу создать фрейм данных на основе моих входных дат, т.е. date1 = "20180425" date2 = "20180501"

мой ожидаемый результат: 

+-----+-----+----------+
|cCode|pCode|     mDate|
+-----+-----+----------+
|  135|  379| 20180428 |
|   31|  898| 20180429 |
|   31|  245| 20180430 |
+-----+-----+----------+

, пожалуйста, помогите мне, как мне достичь этого.

1 Ответ

0 голосов
/ 02 мая 2018

Вот простой фильтр, примененный к вашему df: 

df_transac.where("mdate between '{}' and '{}'".format(date1,date2)).show()

+-----+-----+--------+
|cCode|pCode|   mDate|
+-----+-----+--------+
|  135|  379|20180428|
|   31|  898|20180429|
|   31|  245|20180430|
+-----+-----+--------+
...