Я написал простой веб-сканер. Я загрузил все веб-сайты и их на моем жестком диске.
Теперь я хочу проанализировать их, чтобы я мог написать простой интерфейс, например www.google.de, и искать информацию на моих выбранных страницах.
проблема в том, как быстро найти важную информацию. поэтому расчет важен. это может быть в реальном времени или после получения. моя идея написать диктоник со списком английских слов и посчитать записи ... или что делать? Мне нужна лекция, как извлечь информацию и сжать их. но я не знаю, где искать.
сканер основан на c ++ с mysql, где хранятся ссылки.
Я надеюсь, что мой вопрос ясно. : D
Кстати, за мой плохой английский, но на немецком языке нет такой доски: P