Как бы вы, как опытный программист, подошли к проекту по веб-созданию сайта с учетом всех его футбольных коэффициентов?
Я пытаюсь создать веб-скребок и сканер для друга, чтобы анализировать коэффициенты со всех сайтов www.футбольные лиги cashpoint.com.
Как новый программист, я теперь понимаю, что эта задача больше, чем я думал.Сайт содержит javascript, и существует более одного сайта, который нужно почистить.Я стал немного знаком с Python 3, веб-скребком и веб-сканированием, следуя инструкциям на YouTube, и сделал несколько небольших простых веб-браузеров.Я хотел бы спросить более опытного программиста, как вы подходите к этому проекту, создавая программу, которая очищает все футбольные матчи, а затем сохраняет информацию в базе данных.
Я думал о сканировании в Интернете через https://www.cashpoint.com и собирал ссылки на сайты, которые содержат шансы.Я бы использовал паука Баки, чтобы сделать это: https://github.com/buckyroberts/Spider. После сбора ссылок я перебирал страницы в Интернете с помощью Selenium и xpath и сохранял информацию в базе данных.Я искал исходный код gingeleski (https://github.com/gingeleski/odds-portal-scraper), который делает именно это, просто с другого сайта.По сути, вы помещаете ссылки в документ, и он будет собирать шансы и извлекаться в базу данных mysql.Еще один подход, о котором я подумал, - перебрать лиги через веб-драйвер selenium: пример, чтобы щелкнуть левую строку меню.
webdriver.Chrome(chromedriver)
driver.get('https://www.cashpoint.dk/en/site/index.html')
driver.find_element_by_id('left_menu_sports_id1008').click()
и затем сохранить эту информацию вбаза данных.
Мне бы очень хотелось услышать и узнать у программиста, как вы подходите к этому проекту.
Большое вам спасибо за то, что прочитали это!
С уважением от Кристиана