Как использовать Kinesis Analytics (KDA), чтобы найти недостающие ключи из справочной таблицы в переворачивающемся окне? - PullRequest
Новая
       2

Как использовать Kinesis Analytics (KDA), чтобы найти недостающие ключи из справочной таблицы в переворачивающемся окне?

0 голосов
/ 14 апреля 2020

Я мог бы легко получить количество ключей, скажем, идентификаторов клиентов, появившихся в падающем окне, скажем, 10 минут, используя шаблоны или примеры KDA. Но мне нужно найти ключи в моей справочной таблице, которых нет в 10-минутном окне. Я попробовал левое соединение с моей справочной таблицей слева, но это не сработало с ошибкой, что я не мог использовать бесконечный поток справа от левого соединения.

Вот код, который я пробовал: 

SELECT "customer"."id" FROM "customer" 
LEFT JOIN "SOURCE_SQL_STREAM_001" 
        on "SOURCE_SQL_STREAM_001"."id"="customer"."id" 

GROUP BY "customer".id, 
FLOOR(("SOURCE_SQL_STREAM_001".ROWTIME - TIMESTAMP '1970-01-01 00:00:00') SECOND / 600 TO SECOND)

Итак, поскольку мое 10-минутное окно рассматривается как бесконечный поток, а KDA не позволяет его, как еще можно проверить, не имеет ли 10-минутное окно идентификаторы, которые есть в моей справочной таблице.

Примечание: я закончил тем, что использовал 10-минутное окно с идентификатором и сверялся со справочной таблицей в redis с помощью лямбда-функции, но мне все еще интересно, допустим ли мой сценарий использования в KDA.

...