Как быстро очистить / ввести данные с сайта? - PullRequest
0 голосов
/ 01 мая 2020

Я делаю небольшой проект, для которого мне приходится вручную черпать данные с веб-сайта (результат студентов). Теперь проблема в том, что у меня много полей (47), и веб-сайт защищен с помощью капчи. Как я могу получить данные? Это дает данные в формате PDF. Мне нужно много вещей, таких как имя, пол, номер ролика, оценки на разных курсах. Есть ли способ эффективно сделать это? Ввод вручную кажется большой работой (47 столбцов * ~ 4 тыс. Строк). Я использую Excel, и это заняло ~ 5 минут только для первого ввода данных. Я также подумал об использовании MySQL, но таблица с 47 столбцами !? Это кажется слишком запутанным. У меня не так много времени (думаю, 3 месяца), что я должен получить, очистить, проанализировать, визуализировать, интерпретировать и создать модель для этих данных. Каков наилучший подход?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...