Я независимый студент, только начинающий свой собственный проект, и мне интересно, есть ли у кого-нибудь рекомендации по получению всех заявок на планирование в Великобритании. Я просмотрел правительственный веб-сайт publi c, но, похоже, там нет конечной точки для подключения. Я хотел бы иметь возможность извлекать информацию, используя python, где он очищает:
- Предлагаемые разработки
- Срок действия консультации
- Дата принятия решения
- Решение
- Дата подачи заявки
Я знаю, что есть некоторая связь с idox и Northgate с использованием Ruby. У меня не было большого опыта, поэтому я попытался разобрать Python, чтобы упростить задачу, но мне не повезло. Буду очень признателен за любое руководство :)
То, что я сделал, - это соскоблил каждый округ с почтовым индексом и адресом правительства, чтобы найти страницу приложения планирования каждого сайта. Это не кажется эффективным способом, и если бы я пытался очищать его каждый месяц, это было бы много кода. Я подумал, что могу использовать некоторые URL-адреса и использовать их как переменные и просто изменить округ, но не уверен, насколько это будет успешно.
Красные на изображении - это ссылки, которые не работают. Оранжевый = ссылки с индивидуальным пользовательским интерфейсом, поэтому их будет сложнее очистить
Изображение ниже представляет собой ручную очистку результатов в Уилтшире, чтобы определить, что у правительства нет стандарта в 3 месяца с даты консультации до даты принятия решения. Поэтому этот проект кажется жизнеспособным, просто методология кажется довольно сложной, и было бы здорово получить некоторое представление об этом.
