Есть ли в AWS Kinesis Analytics водяные знаки и раздвижные окна на других полях, кроме ROWTIME? - PullRequest
0 голосов
/ 23 января 2019

После нескольких недель работы с Kinesis Analytics у меня есть куча вопросов:

  1. Есть ли что-то вроде водяных знаков? как у моргания

    Насколько я понимаю, даже ошеломляющие окна генерируются в режиме реального времени:

Записи сгруппированы по одноминутным ступенчатым окнам. Шатаясь окно запускается, когда приложение получает первую запись AMZN (с ROWTIME 11:00:20). Когда истекает 1-минутное окно смещения (в 11:00:20) {Я думаю, это опечатка, вероятно, это должно быть 11:01:20}, запись с результатами, которые попадают в ошеломляющее окно (на основе в ROWTIME и EVENT_TIME) записывается в выходной поток. Используя ошеломляющее окно, все записи с ROWTIME и EVENT_TIME в течение одной минуты окна выдаются в одном результате. принято здесь

  1. На странице о скользящих окнах я нашел несколько примеров, и, поскольку там вы можете выбрать только поле для "разбивки по", я могу предположить, что единственным полем, на основе которого создается оконное управление, является ROWTIME.

WINDOW W1 AS ( PARTITION BY ticker_symbol ИНТЕРВАЛ ДИАПАЗОНА '1' МИНУТА ПРЕКРАСИРОВАНИЯ);

Пожалуйста, не рассматривайте это как сообщение ненависти, я часто использую AWS, и большинство сервисов надежны и удобны для пользователя. Это скорее попытка указать на некоторые функции, которые могут понадобиться еще нескольким пользователям (не только мне).

Или, если вы знаете, как это уже можно использовать в Kinesis Analytics, было бы интересно узнать, поскольку я не нашел ничего об этих функциях в документации.

1 Ответ

0 голосов
/ 23 января 2019

Из того, что я прочитал в их документации здесь и здесь

Для оконного запроса на основе времени вы задаете размер окна всроки (например, окно продолжительностью в одну минуту).Это требует столбца метки времени в потоке в приложении, который монотонно увеличивается.(Временная метка для новой строки больше или равна предыдущей строке.) Amazon Kinesis Data Analytics предоставляет такой столбец временной метки, который называется ROWTIME для каждого потока в приложении.Вы можете использовать этот столбец при указании запросов на основе времени.Для вашего приложения вы можете выбрать другой вариант отметки времени.Для получения дополнительной информации см. Временные метки и столбец ROWTIME.

У вас могут быть окна времени события, но временные метки должны быть монотонно увеличивающимися, что говорит о том, что есть только простые водяные знаки.Поиск водяного знака действительно находит некоторые хиты на этой странице .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...