Ранее я использовал нечто подобное, называемое httpunit , но я не представляю, как оно сравнивает производительность.
Если у вас есть миллионы страниц для обработки, я бы порекомендовал бросить несколькобольше тем на это.Просто предположение, но я думаю, что если вы масштабируете это до нескольких потоков, вы исчерпаете пропускную способность, прежде чем исчерпаете мощность процессора (в этом случае не будет иметь значения, насколько быстрее это может быть)