Мы настроили кластер под управлением Apache Storm и проверили количество слов.Есть три компонента: носик, разделить и считать.Поскольку подсчет слов очень прост, и я полагаю, что читатели должны понимать компоненты и топологию.
В этом проблема.Сплит имеет четырех исполнителей и поэтому считается.После отправки топологии, в первый раз, когда носик начинает отправлять сообщения для разделения, происходит большая задержка (около 1 минуты или даже 2 минуты), прежде чем разделение начинает обрабатывать данные из носика.Если мы перезапускаем работника, в котором находятся расщепленные исполнители, то только что запущенный расщепленный исполнитель может начать обработку данных в течение десятков секунд.
Интересно, нормально ли это для шторма?Поскольку наш эксперимент направлен на изменение графика назначения исполнителей на рабочих для повышения производительности, такая большая задержка приведет к снижению производительности, что нарушит наши цели.
Мы добавляем вход в носик и болты, чтобы при первом запускеначало процесса будет зарегистрировано.Мы находим, что сплит сразу начал работать после излива, а подсчет ждать долго ждать.Все исполнители проживают в одном и том же работнике.Мы тестировали много раз, и результат был похожим.
Информация журнала представлена ниже:
2018-12-25 19: 45: 26.693 STDIO Thread-26-spout-executor [1313] [ИНФО] Носик начинает обрабатываться.2018-12-25 19: 45: 26.701 STDIO Thread-18-split-executor [9 9] [INFO] Разделение запуска> для обработки.2018-12-25 19: 45: 26.703 STDIO Thread-30-split-executor [10 10] [INFO] Разделение запускается в процесс.2018-12-25 19: 45: 26.747 STDIO Thread-20-split-executor [11 11] [INFO] Разделение запускается в процесс.2018-12-25 19: 45: 26.748 STDIO Thread-6-split-executor [12 12] [INFO] Разделение запускается в процесс.2018-12-25 19: 47: 16.366 STDIO Thread-10-count-executor [7 7] [INFO] Счет начинает обработку.2018-12-25 19: 47: 16.367 STDIO Thread-4-count-executor [8 8] [INFO] Счет начинает обработку.2018-12-25 19: 47: 16.368 STDIO Thread-28-count-executor [5 5] [INFO] Счет начинает обработку.2018-12-25 19: 47: 16.369 STDIO Thread-16-count-executor [6 6] [INFO] Счет начинает обработку.