org.jsoup.HttpStatusException: ошибка HTTP при получении URL. Статус = 403

Question

Я получаю:

org.jsoup.HttpStatusException: HTTP ошибка получения URL. Статус = 403

в следующем коде.

try {
     String url = "https://pixabay.com/ko/videos/";
     Document doc = Jsoup.connect("https://pixabay.com/ko/videos/")
             .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36")
             .get();
     Elements data = doc.select("div.item");
     int size = data.size();             
     for (int i = 0; i < size; i++) {
         String videoUrl = data.select("div.media")
                 .eq(i)
                 .attr("data-mp4");
         videoUrl = "https:" + videoUrl;

         String previewUrl = data.select("div.media")
                 .select("img")
                 .eq(i)
                 .attr("src");
         videoItems.add(new VideoItem(videoUrl, previewUrl));                
      }

Ошибка в строке:

Document doc = Jsoup.connect("pixabay.com/ko/videos/") .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36") .get();

Я думаю, что есть проблема с пользовательским агентом.

Кто-нибудь может мне помочь решить эту проблему?

Answer 1

В некоторых случаях вам нужно установить реферер и игнорировать тип. Документ do c = Jsoup.connect ("https://pixabay.com/ko/videos/") .userAgent ("Mozilla / 5.0 (Macintosh; Intel Ma c OS X 10_9_2) AppleWebKit / 537.36 (K HTML," как Gecko) Chrome / 33.0.1750.152 Safari / 537.36 ") .referrer (" http://www.google.com ") .ignoreContentType (true) .get ();