Я пытаюсь почистить названия должностей по одному на веб-сайте Always.co.in, но из-за проблем с соединением отказался, когда я захожу на страницу с категориями названий определенных должностей и пытаюсь получить ответ со страницы, но Это показывает ошибку в это время. пожалуйста, помогите мне решить эту проблему, я пытался решить это, но это не решено. Пожалуйста, помогите.
2020/03/07 09:08:41 Error to Connect with Indeed Jobs Category Page. Get https://indeed.co.in/browsejobs/Engineering: dial tcp 169.44.165.69:443: connect: connection refused
package main
import (
"crypto/tls"
"fmt"
"io/ioutil"
"log"
"net/http"
"github.com/PuerkitoBio/goquery"
)
func GetBrowseJobs(Url string) {
response, err := http.Get(Url)
if err != nil {
log.Println("Error to Connect with Indeed Home page.", err)
return
}
defer response.Body.Close()
document, err := goquery.NewDocumentFromReader(response.Body)
if err != nil {
log.Fatal("Error loading HTTP response body", err.Error())
return
}
document.Find("a.icl-GlobalFooter-link").Each(processElement)
}
func processElement(index int, element *goquery.Selection) {
href, exists := element.Attr("href")
if exists {
BrowseJobsPage(href)
return
}
}
func BrowseJobsPage(Urls string) {
fmt.Println(Urls)
response, err := http.Get(Urls)
if err != nil {
log.Println("Error to Connect with Indeed Browse Jobs Page.", err)
return
}
defer response.Body.Close()
document, err := goquery.NewDocumentFromReader(response.Body)
if err != nil {
log.Fatal("Error loading HTTP response body", err.Error())
return
}
document.Find("table#categories tbody tr td a").Each(Processjobs)
fmt.Println("***********************************************************************")
}
func Processjobs(index int, element *goquery.Selection) {
href, exists := element.Attr("href")
if exists {
PerJobsTitlePage(href)
return
}
}
func PerJobsTitlePage(Urls string) {
fmt.Println(Urls)
tlsConfig := &tls.Config{
InsecureSkipVerify: true,
}
transport := &http.Transport{
TLSClientConfig: tlsConfig,
}
client := http.Client{Transport: transport}
response, err := client.Get("https://indeed.co.in" + Urls)
if err != nil {
log.Println("Error to Connect with Indeed Jobs Category Page.", err)
return
}
defer response.Body.Close()
body, err := ioutil.ReadAll(response.Body)
if err != nil {
log.Println("Page response is nil", nil)
}
document, err := goquery.NewDocumentFromReader(response.Body)
if err != nil {
log.Fatal("Error loading HTTP response body", err.Error())
return
}
document.Find("table#titles tbody tr td p.job a").Each(ProcessSinglejob)
fmt.Println("***********************************************************************")
}
func ProcessSinglejob(index int, element *goquery.Selection) {
href, exists := element.Attr("title")
if exists {
fmt.Println(href)
return
}
}
func main() {
GetBrowseJobs("https://www.indeed.co.in/")
}