Я хотел бы использовать веб-сканер и сканировать определенный веб-сайт. Сайт представляет собой систему управления обучением, где многие студенты загружают свои задания, презентации проектов и так далее. Мой вопрос заключается в том, можно ли использовать веб-сканер и загружать файлы, загруженные в систему управления обучением. После того, как я загрузил их, я хотел бы создать индекс для них, чтобы запросить набор документов. Пользователь может использовать мое приложение в качестве поисковой системы. Может ли гусеничный это сделать? Я знаю про webeater (Crawler, написанный на Java)