Мне нужен хороший веб-сканер, написанный на Python для хранения полной страницы в базе данных mysql.Небольшая система, которую я сейчас экспериментирую, использует PHP Sphider для сканирования и сохранения в базе данных.Мне нужно что-то, что работает почти точно как sphider, но написано на Python.Так что просто храните базу данных в таблице, откуда другие скрипты берут контент и выполняют остальную часть работы, которая мне нужна.Sphider работает медленно и хочет заменить его.
Итак, я смотрю на scrapy и некоторые другие проекты, но что-то не отвечает моим потребностям, это моя последняя попытка, прежде чем я начну кодировать себя, так что если кто-тознаете, что может решить эту проблему, пожалуйста, скажите мне.