Я пытаюсь очистить веб-страницу с помощью C #, однако после загрузки страницы она выполняет некоторый JavaScript, который загружает больше элементов в DOM, которые мне нужно очистить.Стандартный скребок просто захватывает HTML страницы при загрузке и не воспринимает изменения DOM, сделанные с помощью javascript.Как мне добавить какую-то функциональность, чтобы подождать секунду или две, а затем захватить источник?
Вот мой текущий код:
private string ScrapeWebpage(string url, DateTime? updateDate)
{
HttpWebRequest request = null;
HttpWebResponse response = null;
Stream responseStream = null;
StreamReader reader = null;
string html = null;
try
{
//create request (which supports http compression)
request = (HttpWebRequest)WebRequest.Create(url);
request.Pipelined = true;
request.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip,deflate");
if (updateDate != null)
request.IfModifiedSince = updateDate.Value;
//get response.
response = (HttpWebResponse)request.GetResponse();
responseStream = response.GetResponseStream();
if (response.ContentEncoding.ToLower().Contains("gzip"))
responseStream = new GZipStream(responseStream, CompressionMode.Decompress);
else if (response.ContentEncoding.ToLower().Contains("deflate"))
responseStream = new DeflateStream(responseStream, CompressionMode.Decompress);
//read html.
reader = new StreamReader(responseStream, Encoding.Default);
html = reader.ReadToEnd();
}
catch
{
throw;
}
finally
{//dispose of objects.
request = null;
if (response != null)
{
response.Close();
response = null;
}
if (responseStream != null)
{
responseStream.Close();
responseStream.Dispose();
}
if (reader != null)
{
reader.Close();
reader.Dispose();
}
}
return html;
}
Вот пример URL:
http://www.realtor.com/realestateandhomes-search/geneva_ny#listingType-any/pg-4
При первой загрузке страницы вы увидите, что найдено 134 объявления, а через секунду - 187 найденных объектов.