гусеничный распределен по разным географическим местам

Question

У меня есть несколько настольных компьютеров в разных географических точках. Мне нужно создать сканер с клиентами на каждом настольном компьютере и центральным сервером, где индексируются данные. Можно ли создать такой гусеничный ход в Nutch? Есть ли альтернативы. Искатели на основе Python предпочтительнее.

Answer 1

Если вы используете Nutch как предложенный буфер, на Nutch Wiki есть скрипт, который может вам помочь.Вам просто нужно было бы получить linkdb, crawldb и сегменты из каждой системы на центральный сервер, прежде чем делать это - я думаю, что попытка удаленного доступа к этим ресурсам займет много времени в процессе индексирования.