Странное поведение браузера CefSharp - PullRequest
Новая
       20

Странное поведение браузера CefSharp

0 голосов
/ 05 мая 2019

У меня проблема с моим веб-скребком. Он должен выполнить JavaScript, чтобы внести некоторые изменения на веб-странице, затем загрузить исходный код и извлечь некоторые конкретные данные. 

bool working = true;

for(int i  = 0; i < urls.Count(); ++i)
{
    working = true;
    ChromiumWebBrowser scraper = new ChromiumWebBrowser(urls[i]);
    scraper.FrameLoadEnd += scrape;

    while(working)
    {
        Application.DoEvents();
        System.Threading.Thread.Sleep(50);
    }
}

async void scrape(object sender, FrameLoadEndEventArgs args)
{
    ChromiumWebBrowser chrome = (ChromiumWebBrowser)sender;
    if (args.Frame.IsMain && chrome.CanExecuteJavascriptInMainFrame)
    {
        string script = Properties.Resources.script;
        chrome.ExecuteScriptAsync(script);
        string data = "   ";
        do
        {
            string html = await chrome.GetSourceAsync();
            string dataField = "data";
            int dataFieldIndex = html.IndexOf(phoneField);
            data = html.Substring(dataFieldIndex + dataField.Count(), html.IndexOf("<", dataFieldIndex + dataField.Count()) - dataFieldIndex - dataField.Count());
            System.Threading.Thread.Sleep(50);
        } while (data.Count() == 3);
        addDataToHashSet(data);
    }
    else
    {
        Debug.WriteLine("Error");
    }
}

private void addDataToHashSet(string data)
{
    data = data.Replace("-", "");
    data = data.Replace(" ", "");
    dataHashSet.Add(data);
    working = false;
}

К сожалению, это непредсказуемо. Он зависает после нескольких итераций - правильное событие с CanExecuteJavascriptInMainFrame и IsMain никогда не запускается для некоторых итераций. Не могли бы вы объяснить это мне?

[править]: Моя инициализация Cef ниже: 

CefSettings cefSettings = new CefSettings();
cefSettings.CefCommandLineArgs.Add("allow-running-insecure-content", "1");
cefSettings.IgnoreCertificateErrors = true;
CefSharpSettings.Proxy = new ProxyOptions(ip: "...", port: "...");
Cef.Initialize(cefSettings);
...