Необходимо отобразить вывод WebCrawler в виде древовидной структуры - PullRequest
Новая
       5

Необходимо отобразить вывод WebCrawler в виде древовидной структуры

0 голосов
/ 26 февраля 2019

Ниже приведен код для извлечения страниц внутри данного URL, но я не уверен, как отобразить их в древовидной структуре.

открытый класс BasicWebCrawler {

private HashSet<String> links;

public BasicWebCrawler() {
    links = new HashSet<String>();
}

public void getPageLinks(String URL) {
    //4. Check if you have already crawled the URLs 
    //(we are intentionally not checking for duplicate content in this example)
    if (!links.contains(URL)) {
        try {
            //4. (i) If not add it to the index
            if (links.add(URL)) {
                System.out.println(URL);
            }

            //2. Fetch the HTML code
            Document document = Jsoup.connect(URL).get();
            //3. Parse the HTML to extract links to other URLs
            Elements linksOnPage = document.select("a[href^=\"" +URL+ "\"]");

            //5. For each extracted URL... go back to Step 4.
            for (Element page : linksOnPage) {
                getPageLinks(page.attr("abs:href"));
            }
        } catch (IOException e) {
            System.err.println("For '" + URL + "': " + e.getMessage());
        }
    }
}

public static void main(String[] args) {
    //1. Pick a URL from the frontier
    new BasicWebCrawler().getPageLinks("https://www.wikipedia.com/");

}

}

1 Ответ

0 голосов
/ 26 февраля 2019

Хорошо, я думаю, что мне удалось сделать то, что вы просили, когда все ссылки на сайте проверены или на сайте нет ссылок, тогда рекурсия закончится, но в интернете это на самом деле невозможно, забавно, куда вы можете перейти с одного сайтапросто нажав первую не проверенную ссылку: 

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.util.HashSet;

public class BasicWebCrawler {

    private HashSet<String> links;

    public BasicWebCrawler() {
        links = new HashSet<String>();
    }

    public void getPageLinks(String URL, int level) {
        //4. Check if you have already crawled the URLs
        //(we are intentionally not checking for duplicate content in this example)
        if (!links.contains(URL)) {
            try {

                //4. (i) If not add it to the index
                if (links.add(URL)) {
                    for(int i = 0; i < level; i++) {
                        System.out.print("-");
                    }
                    System.out.println(URL);
                }

                //2. Fetch the HTML code
                Document document = Jsoup.connect(URL).get();
                //3. Parse the HTML to extract links to other URLs
                Elements linksOnPage = document.select("a[href]");

                //5. For each extracted URL... go back to Step 4.
                for (Element page : linksOnPage) {
                    getPageLinks(page.attr("abs:href"), level + 1);
                }
            } catch (IOException e) {
                System.err.println("For '" + URL + "': " + e.getMessage());
            }
        }
    }

    public static void main(String[] args) {
        //1. Pick a URL from the frontier
        new BasicWebCrawler().getPageLinks("http://mysmallwebpage.com/", 0);

    }
}
...