Почему робот Google так сканирует мой сайт? - PullRequest
0 голосов
/ 06 мая 2020

У меня здесь работает сайт: https://www.you2mp3.online/

Я заметил кое-что необычное в журналах сайта. Вот журналы: -

AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/80.0.3987.92 Safari/537.36" "66.249.75.27" response-time=0.002
66.249.75.27 - - [06/May/2020:05:22:21 +0000] "GET /js/chart/chart.js HTTP/1.1" 404 808 "http://you2mp3.online/search.php?search=amay+prosno+kore+neel+dhrubo+tara&ccode=HU" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/80.0.3987.92 Safari/537.36" "66.249.75.27" response-time=0.004
66.249.75.25 - - [06/May/2020:05:22:21 +0000] "GET /css/custom.css?v=1 HTTP/1.1" 404 808 "http://you2mp3.online/search.php?search=amay+prosno+kore+neel+dhrubo+tara&ccode=HU" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/80.0.3987.92 Safari/537.36" "66.249.75.25" response-time=0.001
66.249.75.26 - - [06/May/2020:05:22:21 +0000] "GET /js/search/search_app.js?v=3 HTTP/1.1" 404 808 "http://you2mp3.online/search.php?search=amay+prosno+kore+neel+dhrubo+tara&ccode=HU" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/80.0.3987.92 Safari/537.36" "66.249.75.26" response-time=0.001
66.249.75.26 - - [06/May/2020:05:22:21 +0000] "GET /css/flag-icon.css HTTP/1.1" 404 808 "http://you2mp3.online/search.php?search=amay+prosno+kore+neel+dhrubo+tara&ccode=HU" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/80.0.3987.92 Safari/537.36" "66.249.75.26" response-time=0.001
106.66.202.242 - - [06/May/2020:05:28:16 +0000] "GET / HTTP/1.1" 200 34085 "https://www.google.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36" "106.66.202.242" response-time=0.002
106.66.202.242 - - [06/May/2020:05:28:17 +0000] "GET /static/images/search-icon.PNG HTTP/1.1" 200 490 "https://www.you2mp3.online/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36" "106.66.202.242" response-time=0.007
66.249.75.25 - - [06/May/2020:05:42:37 +0000] "GET /search.php?search=askmaya&ccode=US HTTP/1.1" 404 808 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "66.249.75.25" response-time=0.002
106.66.202.242 - - [06/May/2020:05:57:48 +0000] "GET / HTTP/1.1" 200 34085 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36" "106.66.202.242" response-time=0.016

Почему робот Google сканирует случайные страницы с помощью «search. php» что-то вроде этого. Я вообще не использовал PHP. (См. Все страницы получают ошибку НЕ НАЙДЕН (404).)

Это допустимый случай или кто-то просто пытается использовать мой сайт?

Пожалуйста, дайте мне знать, что такое ваше мнение.

...