Я хочу собрать некоторые данные с двух сайтов ставок. (при использовании javascript.) данные этих сайтов полностью динамические c, поэтому они меняются минуты на минуты. и мне нужен веб-скребок, чтобы очистить эти данные и сохранить их в базе данных. (на каждом сайте всего 5 игр и по 12 часов.)
, но проблема в следующем: когда скребок хочет извлечь данные с веб-страниц, он проскальзывает на первую страницу и после этого завершает работу. Вы закроете первую страницу и go на второй странице и будете делать это до последней страницы. если я собираю данные таким образом, я должен отправить слишком много запросов на сайт, и, возможно, его забанят!
, поэтому я думаю, что может быть другой способ сделать это: например, браузер, если бы был скребок это открывает некоторые вкладки и предотвращает приостановку и потерю соединения этими вкладками, данные на этих вкладках будут обновляться автоматически и будут просто извлечены + веб-сайты не будут его блокировать!
, поэтому я хочу знать, есть ли какой-нибудь скребок нравится? может ли селен / спла sh + делать такую терапию? или я должен искать что-то еще? (что-то вроде расширения браузера?) у вас есть предложения для меня? : (
спасибо и извините за грамматические проблемы.: [[*