Java-функция Azure не масштабируется для обработки тяжелых сообщений EventHub? - PullRequest
0 голосов
/ 10 октября 2019

У нас есть функция тяжелой лазури, которая использует привязку триггера eventHub для чтения данных из eventHub1, выполняет некоторую обработку и запись в 2 других концентратора событий (eventhub2 и eventhub3 в зависимости от логики преобразования).

EventHub1 (12раздел) в одной точке было 200 млн сообщений, однако функция не может масштабироваться для обработки всей нагрузки. За 7 дней он мог обработать только 40% нагрузки, и в конечном итоге остальные сообщения (120 млн) умерли в хабе (без обработки) из-за политики хранения в течение 7 дней.

Создан тикет поддержки с MS опроблема масштабирования 6 дней назад. До сих пор мы не получили от них какого-либо ценного ответа.

Мысль представить его лазурным экспертам, чтобы посмотреть, есть ли у вас, ребята, какие-либо рекомендации или сталкивались с подобной проблемой в прошлом. Я буду больше, чемс удовольствием предоставим дополнительную информацию, если вам нужно о проблеме масштабирования.

 - Function is on consumption plan.
 - EventHub namespace is on standard tier.
 - All the hubs has 12 partitions each.
 - MS Document says function would max have n+1 instance, where n = #of partitions. 
However from live metrics I could see function running on 27 servers instances max.

1 Ответ

0 голосов
/ 11 октября 2019

Есть несколько вещей, которые нужно проверить:

1 - это нагрузочный тест, в котором вы добавляете все эти события сразу (но порциями) или он принимается через несколько часов / днейработы?

2-Вы достигаете единиц TU (единиц пропускной способности)?

3-Вы включили функцию автоматического раздувания? (https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-auto-inflate)

4 - рассматривали ли вы возможность использования выделенных кластеров?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...