Эффективное сканирование веб-страниц

Question

Каков хороший способ в java для достижения следующего метода, который я предложил для получения НОВЫХ веб-данных для моей базы данных?Было бы лучше сравнить кучу элементов массива?Некоторые идеи были бы великолепны.

Crawler imdbCrawler = new Crawler(files.getLocalTitles("C:\\Movies"));
//add these titles to the database
//query to get existing DB titles, get directory titles and crawl negated union of these titles

Answer 1

Знаете, IMDB предлагает свою базу данных бесплатно ... с некоторыми оговорками, конечно, для коммерческого использования.

Во-вторых, лучше использовать какую-то структуру / коллекцию, поэтомуесли объект в коллекции имеет данные, это означает, что вы уже просмотрели его.Если это не так, он все еще нуждается в сканировании.Если вы найдете новую ссылку, просто добавьте ее в коллекцию (без данных), и ваша ветка сбора данных найдет ее позже.

Dekker