Webscraping с помощью селектора html - PullRequest
Новая
       75

Webscraping с помощью селектора html

0 голосов
/ 23 апреля 2020

Попытка получить некоторые данные с помощью селектора html / css div.ipchecker, который показывает детали объекта клиента на сайте https://ipstack.com/ Вот мой код 

package main

import (
    "fmt"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

const (
    site1 = "https://ipstack.com/"
    site2 = "https://geoip.nekudo.com"
)

var count int

func get(s string) (count int, body string) {
    resp, err := http.Get(s)
    if err != nil {
        return 0, err.Error()
    }
    defer resp.Body.Close()

    count++

    doc, _ := goquery.NewDocumentFromReader(resp.Body)

    return count, doc.Find("div.ipchecker").Text()
}

func main() {
    _, b := get(site1)
    fmt.Println(b)
}

Я использую goquery, но когда я запускаю программу, я не получаю полный объект, скорее я получаю только кнопку в правом верхнем углу. Я сомневаюсь, что есть способ скрыть данные, когда пытаешься очистить их через селектор. Не уверен, в чем проблема. Может быть, есть лучший способ очистить объект и получить то, что мне нужно?

...