Фильтр дубликатов в планировщике отфильтровывает только те URL-адреса, которые уже видны за один запуск паука (это означает, что он будет сброшен при последующих запусках). Промежуточное программное обеспечение IgnoreVistedItems будет поддерживать состояние между запусками и избегать посещения URL-адресов, замеченных в прошлом, но только для окончательных URL-адресов элементов, чтобы можно было повторно сканировать остальную часть сайта (для поиска новых элементов).