Структура потоковой передачи: первые n строк

Question

Недавно я столкнулся с проблемой 'первые n строк' при потоковой передаче структуры при проектировании с данными в реальном времени.Мне нужно получить 50 новейших записей о событиях в качестве выходных данных, но потоковая структура дает мне целую неограниченную таблицу или несколько обновленных результатов.Я ищу много онлайн, и есть несколько методов:

(1) Использование TTL, но я думаю, что оно основано на времени приема, которое не является моим желаемым временем события;

(2) Использование Flink для сбора новейших записей о событиях.Это что-то грязное, чтобы использовать flink и структурировать потоковую передачу.В качестве следующего я попытался использовать Flink 1.6, статика это таблица?Я не знаю, как обрабатывать, потому что ничего не выводится.

val source: KafkaTableSource = Kafka010JsonTableSource.builder()
.forTopic("BINANCE_BTCUSDT_RESULT")
.withKafkaProperties(properties)
.withSchema(TableSchema.builder()
 .field("timestamp", Types.SQL_TIMESTAMP)
 .field("future_max", Types.DOUBLE)
 .field("future_min", Types.DOUBLE)
 .field("close",Types.DOUBLE)
 .field("quantities",Types.DOUBLE).build())
.fromEarliest()
.build()
tableEnv.registerTableSource("statics", source)
val statics = tableEnv.scan("statics")
statics.?

Любое тело может рассказать мне больше о методе решения с первой проблемой n строк?Если проблема решена, как разместить фрейм данных в URL?

Answer 1

Я рекомендую вам использовать Flink 1.5, поскольку 1.6 еще не стабильна (на самом деле, 1.5 только что выпущена).

При использовании времени события с Flink, Flink должен знать о ваших временных метках, иэто нуждается в водяных знаках, которые указывают поток времени события.Чтобы сделать это с Kafka010JsonTableSource, вы должны настроить атрибут времени строки .

Обратите внимание, что fetch () доступна только при использовании Flink SQL в пакетном режиме.