Вот что я разработал в свободное время (на самом деле это заняло у меня 2 года):
(1) программа, которую я назвал «большой вождь»
(2) программа, которую я назвал "менеджер"
Вот как это работает:
Сначала запустите менеджеры на каждой машине, которая настроена для этого.
После запуска большой начальник просит dll создать список сайтов, которые нужно «сосать».
Он разрезает их на «пакеты» и отправляет каждый пакет «(2) менеджеру»
У каждого менеджера есть пул «работников» (потоков). Как только он получает список, он активирует каждый поток с одним URL, чтобы "сосать". Через некоторое время, когда весь список составлен, менеджер создает большой пакет «результатов», а затем отправляет его «большому начальнику».
Это может пойти гораздо дальше, чем просто "сосать" URL-адреса. (Вы можете определить целый «путь» с помощью get и posts, и куки-файлы следуют по пути, что означает что-то вроде «перехода на xx.com, имитации действительной кнопки, затем перехода на xx.com/valid.php (со всеми печеньки и тд на съемочной площадке) потом имитируют что-то еще.)
Да, это мини-Google.
Я использовал TCP для связи "большого начальника" и "менеджера" с собственным протоколом и сжатием перед отправкой.
Одна из его мощных функций заключается в том, что вы можете очень легко ее расширить. Я использовал свой компьютер для «большого начальника» и 6 других интернет-соединений для менеджеров (включая огромный из моей старой школы). Я могу добавить столько «менеджеров», сколько захочу:).
PS: Почему я об этом говорю? Потому что я горжусь этим, и он не используется вообще . Это на моем компьютере, я засосал сайт, который трудно ... сосать (pbase.com), и они, вероятно, видели входящие соединения из Штатов, Китая и т. Д. (Тогда как я во Франции) ( да, он поддерживает публичные прокси также) ... Я так горжусь продуктом, который вообще не используется ...