Присоединяйтесь к Kinesis Streams - PullRequest
Новая
       22

Присоединяйтесь к Kinesis Streams

0 голосов
/ 07 сентября 2018

У меня есть два потока Кинезиса, и я хотел бы создать третий поток, который является пересечением этих двух потоков. Моя цель - заставить потоковый процессор реагировать на событие в результирующем третьем потоке без необходимости писать потребителя, который выполняет это пересечение.

Запись на потоке будет: 

{
    "customer_id": 3,
    "first_name":"Marcy",
    "last_name":"Shurtleff"
}

и запись в потоке b будет: 

{
    "payment_id": 10001,
    "customer_id": 1,
    "amount":234.56,
    "date":"2018-09-07T10:25:43.511Z"

}

Я хотел бы выполнить соединение (как в KSQL с Kafka), которое присоединит поток a.customer_id к потоку b.customer_id , что приведет к: 

{
    "customer_id": 3,
    "first_name":"Marcy",
    "last_name":"Shurtleff",
    "payment_id": 10001,
    "amount":234.56,
    "date":"2018-09-07T10:25:43.511Z"
}

(или любую другую подобную sql проекцию, которую я выберу).

Я знаю, что это возможно с Kafka и KSQL, но возможно ли это с Kinesis?

Kinesis Data Analytics не поможет, так как вы не можете использовать более одного потока в качестве источника данных в этом продукте, и вы можете выполнять соединения только в потоках «в приложении».

...