Apache Storm: поздний кортеж будет проверен или провален? - PullRequest
Новая
       5

Apache Storm: поздний кортеж будет проверен или провален?

0 голосов
/ 26 ноября 2018

У меня есть следующая информация в моем журнале.

Q1: Приводит ли носик к получению ошибочных сообщений?Вызывает ли сбой дерево кортежей, к которому принадлежит этот кортеж?

Q2: Почему эти поздние кортежи опаздывают на несколько минут, но полная задержка, показанная в пользовательском интерфейсе, все еще составляет несколько сотенмиллисекунды?

Q3 ： Нет поздней записи, когда входная скорость равна 10 кортежей / с, но она будет появляться в больших количествах при увеличении до 100 кортежей / с, поэтомуне будет работать должным образом.Что я должен сделать, чтобы решить эту проблему? 

2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=project, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-9-count_bolt-executor[53 53] [INFO] Received a late tuple {word=free, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=full, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-9-count_bolt-executor[53 53] [INFO] Received a late tuple {word=almost, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=for, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-9-count_bolt-executor[53 53] [INFO] Received a late tuple {word=whatsoever., timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=project, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=for, timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=others., timestamp=1543194524005} with ts 1543194524005. This will not be processed.
2018-11-26 09:23:55.056 o.a.s.t.WindowedBoltExecutor Thread-11-count_bolt-executor[40 40] [INFO] Received a late tuple {word=project, timestamp=1543194524005} with ts 1543194524005. This will not be processed.

Обновление:

Моя топология ： KafkaSpout ---> SpilitBolt ---> EventTimeWindowCountBolt --->KafkaSink

Storm Версия: 1.2.1

CountBolt: 

 builder.setBolt("count_bolt", new CountBlot()
                .withTumblingWindow(new Duration(time_windowsize, TimeUnit.SECONDS))   //3s
                .withLag (new Duration(time_windowlag, TimeUnit.SECONDS))  // 1s
                .withTimestampField("timestamp")
                , parallelism)
                .fieldsGrouping("split_bolt", new Fields("word"));
...