Будет ли мой поток стружки бездействовать в штормовой роботе после обработки всех URL-адресов в выделенном для него контейнере? - PullRequest
0 голосов
/ 20 сентября 2018

1) Что происходит, когда количество сегментов в базе данных превышает количество потоков?2) Что происходит, когда URL-адреса есть только в одном ведре, но имеется 10 потоков носика ... Будут ли оставшиеся 9 потоков бездействовать?

1 Ответ

0 голосов
/ 20 сентября 2018

Вы должны установить количество экземпляров носика, равное количеству ведер.Если количество сегментов больше, чем у экземпляров spout, то будут запрашиваться только сегменты с номером, меньшим или равным количеству экземпляров.

Все экземпляры spout отправляют запросы в базу данных с указанием номера сегмента.Если соответствующий блок содержит URL-адреса, они будут отправлены по топологии, в противном случае экземпляр spout попытается запросить его позже после короткого периода бездействия.

код SQL-излива довольно просто.

...