C # web и ftp crawler library

Question

Мне нужна библиотека (надеюсь, в C #!), Которая работает как веб-сканер для доступа к файлам HTTP и FTP. В принципе, я доволен чтением HTML, хочу расширить его до PDF, WORD и т. Д.

Я доволен программным обеспечением для начинающих с открытым исходным кодом или, по крайней мере, любыми указаниями для документации.

Answer 1

Проверка NCrawler проект

Простой и очень эффективный многопоточный веб-сканер с конвейерной обработкой, написанный на C #. Содержит обработчики документов HTML, Text, PDF и IFilter и определение языка (Google). Легко добавлять шаги конвейера для извлечения, использования и изменения информации.

Answer 2

Я разработал Crawler Engine в Crawler-Lib Framework. Это сканер с поддержкой рабочих процессов, который может быть легко расширен для выполнения любых запросов или даже обработки, которую вы хотите иметь.

Вот двигатель: http://www.crawler -lib.net / гусеничный Пб двигатель

Вот несколько видео с Youtube, показывающих, как работает движок Crawler-Lib: http://www.youtube.com/user/CrawlerLib

Я знаю, что этот проект не с открытым исходным кодом, но есть бесплатная версия.