FLINK CEP (Java 8) - постоянная «идентичность» через соответствующий шаблон - PullRequest
Новая
       25

FLINK CEP (Java 8) - постоянная «идентичность» через соответствующий шаблон

0 голосов
/ 28 мая 2019

Я пытаюсь использовать FLINK-CEP для измерения времени, в течение которого заявка на рынке занимает от BidState.OPEN до BidState.Closed. Я получаю DataStream предложений с идентификаторами и состояниями, и в настоящее время я сопоставляю все «ОТКРЫТЫЕ» предложения со всеми «ЗАКРЫТЫМИ» предложениями.

У меня есть условие в patternStream.process, которое позволяет открывать и закрывать заявки с одинаковым идентификатором для парного соединения, как и должно быть. Это кажется неправильным, так как количество матчей растет невероятно быстро, и у меня есть ощущение, что это можно сделать с помощью шаблонов. Итак, есть ли способ убедиться, что оба "начальных" и "конечных" объекта имеют одинаковый идентификатор? 

AfterMatchSkipStrategy skipStrategy = AfterMatchSkipStrategy.noSkip();
//Is it possible to make sure that start.BidID == end.BidID in the pattern?
Pattern<BidEvent, ?> pattern = Pattern.<BidEvent>begin("start", skipStrategy).where(
        new SimpleCondition<BidEvent>() {
            @Override
            public boolean filter(BidEvent value) {
                return value.getState() == BidState.OPENED;
            }
        }).followedByAny("end").where(
        new SimpleCondition<BidEvent>() {
            @Override
            public boolean filter(BidEvent value) throws Exception {
                return value.getState() == BidState.CLOSED; // && value.getBidID == start.getBidID?
            }
        }).within(timeout);

PatternStream<BidEvent> patternStream = CEP.pattern(BidEventDataStream, pattern);

patternStream.process(new PatternProcessFunction<BidEvent, MatchingDuration>() {
    @Override
    public void processMatch(Map<String
            , List<BidEvent>> map
            , Context context
            , Collector<MatchingDuration> collector) {

        BidEvent start = map.get("start").get(0);
        BidEvent end = map.get("end").get(0);
        if (start.getBidId() == end.getBidId()){ // Make sure opening and closing bid is the same. Can this be done in the pattern?
            collector.collect(new MatchingDuration(start.getBidId(), (end.getTimestamp() - start.getTimestamp())));
        }
    }
}).addSink(matchingDurationSinkFunction);

1 Ответ

1 голос
/ 29 мая 2019

Я выяснил, как получить желаемое поведение: BidEventDataStream должен иметь ключ , чтобы сопоставить шаблон на объектах с тем же ключом. Никаких изменений в коде вопроса не требуется, однако BidEventDataStream необходимо отредактировать, чтобы захватить BidEvent.getBidId(): 

BidEventDataStream.keyBy(new KeySelector<BidEvent, Long>() {
                    @Override
                    public Long getKey(BidEventvalue) {
                        return value.getBidId();
                    }
                })
...