Неправильное количество результатов, пытаясь очистить Google в диапазоне дат - PullRequest
2 голосов
/ 14 марта 2020

Я пытался определить количество результатов в определенном диапазоне дат в Google. Я сделал это, вставив дату в поисковый запрос Google. Однако код, который я написал, получает число результатов поиска из диапазона дат. Мой код следующий:

query='Kevin Spacey prima:14-01-2020 dopo:14-01-2020'

for url in search(
            query, 
            tld='it',
            lang='it',
            num=20,
            start=0,
            stop=None,
            pause=2.0
      ):
            try: 
                r = requests.get(url, timeout=None)
                r.headers
                r.status_code
                urls.append(url)              
            except: 
                pass

Из поиска Google я получаю 13 результаты; используя мой код 39. Проблема в том, что «мои» результаты не совпадают с результатами из Google. Я думаю, что проблема в запросе, особенно в диапазоне дат, но я не совсем уверен, как это исправить. Может быть, есть еще одна ошибка, которую я еще не заметил. Я надеюсь, что вы можете сказать мне, что я делаю неправильно.

Спасибо за ваше время и помощь.

Пожалуйста, смотрите здесь результаты от Google и ниже результаты из моего кода.

https://tv.zam.it/programmi_in_tv_stasera.php
https://www.paramountnetwork.it/video/v5ln5t/film-paramount-network-gli-highlights-per-la-settimana-del-2-marzo-2020
https://www.davidemaggio.it/archives/181396/programmi-tv-di-stasera-martedi-14-gennaio-2020-su-rai2-il-film-amore-cucina-e-curry-al-posto-de-il-molo-rosso-spostato-in-seconda-serata
https://www.davidemaggio.it/archives/181401/ascolti-tv-lunedi-13-gennaio-2020
https://www.mymovies.it/film/2016/elvisnixon/pubblico/?id=778281
https://www.ilfoglio.it/siteMapVideo.jsp
http://www.starpolitics.it/author/redazione/page/2/
http://www.zorrolaleggenda.rai.it/dl/RaiTV/programmi/media/ContentItem-4acbbd88-0529-4ca5-a390-96cb38dd2317.html
https://www.lagazzettadellospettacolo.it/cinema/26473-nicholas-hoult-giurati-giffoni-film-festival-2016/
https://www.viaggiareleggeri.com/cerca/x/i
https://www.lagazzettadellospettacolo.it/musica/30431-peter-cincotti-live-italia/
https://www.viaggiareleggeri.com/cerca/x/-?ref=28250
https://www.audible.it/pd/Harry-Potter-e-il-Prigioniero-di-Azkaban-Harry-Potter-3-Audiolibri/B077HVX4WM
https://www.hfw.com/Briefings
http://www.inmediarex.it/cinema-tv/cinema-tv-recensioni/american-gods-la-serie-niente-di-cosi-divino/
http://america24.com/sitemapArticles.xml
https://www.weenjoy.net/sitemap/
https://ierioggidomaniblog.com/2017/06/02/e-arrivata-la-promo-shock-universal-su-amazon-tante-offerte-fino-al-2-luglio/
https://ierioggidomaniblog.com/2018/01/13/universal-pictures-baby-driver-barry-seal-linganno-e-madre/
https://www.glartent.com/IT/Rome/112229858801846/giovani-artisti-associati-srl
https://tubestar.it/breakingitaly
https://www.freeforumzone.com/d/1543749/Oggi-ho-visto-in-TV/discussione.aspx/18
https://mjj.freeforumzone.com/discussione.aspx?idd=662389
https://www.diariodelweb.it/tuttosu/tag/?q=4750
https://civiltascomparse.wordpress.com/category/p-greco/?ak_action=reject_mobile
https://www.ubook.com/audiobook/348309/copy-persuasivo-di-andrea-lisi
https://ipersphera.org/category/attrice/
https://www.luogocomune.net/28-opinione/4827-svezia-laboratorio-per-il-nwo
https://www.globalnpo.org/IT/Salerno/1382814642039640/La-Bottega-Di-Will
https://www.qoop.it/osvaldo-raschi-pugile?page=1
https://www.qoop.it/pugile-al-cogan?filter=lastyear
http://www.caminantes.it/page-16/index.php?categories=giornalisti
https://www.altadefinizione01.tel/10495-terminator-destino-oscuro-stream-ita.html
https://www.emailers.it/codice-sconto-del-50-cibdol-10-promozione-limitata/
https://aimatrabolmeicher.com/2014/03/03/oscar-2014-and-the-winner-is/
https://aimatrabolmeicher.com/goodbye/page/2365/
http://scandalissimi.it/home-archive.php
https://picnano.com/tags/prossimieventi
https://vilook.com/video/9E0I69VkXFc/il-lento-declino-dellitalia-qual-%C3%A8-il-vero-problema-breakingitaly-news

Всего сайтов: 39 (включая ошибку HTTP)

Обновление:

Вот URL-адрес со всеми результатами после настройки исследования:

https://www.google.co.uk/search?q=Kevin%20Spacey&lr=lang_it&cr=countryIT&hl=it&as_qdr=all&tbs=lr. * Поля, на которые мне нужно обратить внимание, чтобы реализовать их в коде:

www.google.co.uk ; I would prefer to look at www.google.it
q=Kevin+spacey
lr=lang_it
cr=countryIT
hl=it
tbs=lr:lang_1it,ctr:countryIT,cdr:1,cd_min:1/14/2020,cd_max:1/14/2020

1 Ответ

0 голосов
/ 20 марта 2020

Запрос , который возвращает результаты 13, использует параметр tbs для указания пределов даты, а не встроенный запрос prima:14-01-2020 dopo:14-01-2020. googlesearch поддерживает tbs и есть даже вспомогательная функция get_tbs, которую вы можете использовать и передавать datetime.date from и to. Вы также должны указать country как countryIT, как в вашем запросе .

Весь рабочий скрипт:

from googlesearch import search, get_tbs
import datetime

# query='Kevin Spacey prima:14-01-2020 dopo:14-01-2020'
query='Kevin Spacey'

urls = []
index = 0

for url in search(
    query, 
    tld='it',
    lang='it',
    country='countryIT',
    num=20,
    start=0,
    stop=None,
    pause=2.0,
    tbs=get_tbs(
        datetime.date(2020, 1, 14),
        datetime.date(2020, 1, 14))
):
    urls.append(url)
    print("%d: %s" % (index, url))
    index += 1

print("\nTotal results found: %d\n" % (len(urls)))

Будет выводить:

0: https://www.cinematown.it/2020-01-oscar-2020-previsioni-scommesse/
1: https://www.cinematown.it/2020-01-notte-sul-pianeta-terra-trailer/
2: https://blog.italiansubs.net/critics-choice-awards-2020-i-vincitori/
3: https://www.amazon.it/Patrick-DVD/dp/B07J33SHLC
4: http://www.viraland.it/2020/01/14/cinema-e-gioco-i-migliori-film-ispirati-al-gaming/
5: https://www.altadefinizione01.tel/catalog/t/
6: https://www.altadefinizione01.tel/10495-terminator-destino-oscuro-stream-ita.html
7: https://www.sentieridelcinema.it/oscar-2020-tutte-le-nomination/
8: https://www.dailymood.it/2020/01/14/nomination-oscar-2020-comanda-joker-tarantino-e-scorsese-lo-tallonano/
9: https://www.cineblog.it/post/932961/bloodshot-nuovo-trailer-vin-diesel-film
10: https://www.cineblog.it/post/932933/black-widow-film-nuovo-trailer
11: https://www.davidemaggio.it/archives/181403/la-guerra-non-e-finita
12: https://www.davidemaggio.it/archives/181385/festival-di-sanremo-2020-donne-chi-sono
13: https://www.rossinavi.it/column/money/2408/

Total results found: 14
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...