AWS клей - разделенные строки по дате не работают - PullRequest
Новая
       5

AWS клей - разделенные строки по дате не работают

0 голосов
/ 11 февраля 2020

Я новичок ie в AWS Клей и Python / PySpark. Я пытаюсь разбить динамический кадр по дате в AWS Клей, но я не могу заставить его работать.

Я попробовал все и прибегнул к этому:

splitRow1 = SplitRows.apply(frame = datasource0, comparison_dict = {"createdDt": {">=": datetime.date(2019, 2, 24), "<=": datetime.date(2019, 3, 2)}}, name1 = "data_in_window", name2="data_outside_window", transformation_ctx = "splitRow1")

Но разделения на два windows не происходит, хотя я знаю, что за окном есть данные.

Я распечатал значение того, что хранится в поле createDt и это не строка. Я думаю, что тип данных - Дата, но я не знаю, как это подтвердить. 

selectRow1 = SelectFields.apply(frame = datasource0, paths = ["createdDt"])

print("output: ", selectRow1.show(1))

# output: {"createdDt": 2019-02-26}

Что мне не хватает или что я делаю неправильно? Заранее спасибо!

...