Web Scraping с помощью капчи в C # с помощью AngleSharp - PullRequest
Новая
       37

Web Scraping с помощью капчи в C # с помощью AngleSharp

0 голосов
/ 01 октября 2018

Я сканирую веб-сайт правительства с Recaptcha, это законно или незаконно, и я нашел некоторые ссылки в фоновом коде, который комментируется, кроме приведенных ниже, я упоминаю ссылки, и эти ссылки не используются на веб-сайтах, с этой ссылкой яЯ сканирую данные, так как эта ссылка полезна для сканирования данных, или если я использовал для сканирования данных по этой ссылке, владельцы веб-сайтов могут заблокировать мой IP-адрес.это мой код, что я сканирую данные 

 var requester = new HttpRequester();
            requester.Headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36";

            var configuration = Configuration.Default.WithDefaultLoader(requesters: new[] { requester }).WithCookies();
            string url = "http://www.mca.gov.in/mcafoportal/viewSignatoryDetails.do";
            var context = BrowsingContext.New(configuration);
            await context.OpenAsync(url);

            try
            {
                await context.Active.QuerySelector<IHtmlFormElement>("form[name='signatoryForm']").SubmitAsync(new
                {
                    companyID= "U30009KA2001PTC029692",
                    displayCaptcha ="false"
                });
                Console.WriteLine();
            }
            catch(Exception ex)
            {
                Console.WriteLine(ex.InnerException.Message);
            }


            if (context.Active != null)
            {
                var sdTable = context.Active.QuerySelector<IHtmlTableElement>("table[id='signatoryDetails']");
                if (sdTable != null)
                {
                    if (sdTable.Children.Count() > 0)
                    {
                        for (int i = 0; i < sdTable.Children[1].ChildElementCount; i++)
                        {
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[0].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[1].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[2].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[3].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[4].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[5].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[6].TextContent);
                            Console.WriteLine(sdTable.Children[1].Children[i].Children[7].TextContent);
                            Console.WriteLine("------------------------------");
                        }
                    }
                }
                else
                {
                    Console.WriteLine("No result found");
                }
            }
        }
        catch ( Exception ex)
        {
            Console.WriteLine(ex.Message);
        }

Я сканирую данные с этим URL Индексные платежи , но когда я изменяю этот URL Подписавшийся iЯ сканирую данные, какая-то ошибка или не работает как первый URL, пожалуйста, помогите мне, что я пропускаю в этом.

1 Ответ

0 голосов
/ 10 декабря 2018

Я не уверен на 100%, что понимаю ваш вопрос.Тем не менее, надеюсь, что следующий ответ поможет вам немного ...

Recaptcha обычно требует JavaScript (насколько я знаю, есть запасной вариант, но я не уверен, используется ли он на ваших сайтах).Поэтому, даже если ваша форма в целом может быть действительной, вы никогда не получите действительный токен.

Существует AngleSharp.Scripting.JavaScript для включения JavaScript, но имейте в виду, что он только экспериментальный и работает только дляпростые скрипты.Сценарии, о которых идет речь, могут быть слишком большими для этого.

...