Я хочу получить некоторую информацию для веб-сайта, но в моем коде появилась некоторая проблема при использовании await httpClient.GetStringAsync
Я закодировал на asp mvc с visual studio 2017.
using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Web.Mvc;
using Web_Crawler.Models;
using System.Threading.Tasks;
using HtmlAgilityPack;
using System.Net.Http;
namespace Web_Crawler.Controllers
{
public class HomeController : Controller
{
public ActionResult Index()
{
return View();
}
public ActionResult OutputTable(string Name, string ClassChildName)
{
var bigModel = new BigModel();
bigModel.url.Name = Name;
bigModel.url.ClassChildName = ClassChildName;
bigModel.Crawler();
return View(bigModel);
}
}
}
using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using Web_Crawler.Models;
using System.Threading.Tasks;
using HtmlAgilityPack;
using System.Net.Http;
namespace Web_Crawler.Models
{
public class BigModel
{
public ListProduct products;
public URL url;
public BigModel()
{
products = new ListProduct();
url = new URL();
}
public async Task Crawler()
{
var Url = url.Name;
var httpClient = new HttpClient();
var html = await httpClient.GetStringAsync(Url);
var htmlDocument = new HtmlDocument();
htmlDocument.LoadHtml(html);
var divs = htmlDocument.DocumentNode.Descendants("div")
.Where(node => node.GetAttributeValue("class", "").Equals(url.ClassChildName)).ToList();
foreach (var div in divs)
{
var div1 = htmlDocument.DocumentNode.Descendants("div")
.Where(x => x.GetAttributeValue("class", "").Equals("product-row-info")).ToList();
var product = new Product();
foreach (var div2 in div1)
{
product.Price = div2.Descendants("span").FirstOrDefault().InnerText;
}
product.Model = div.Descendants("h2").FirstOrDefault().InnerText;
product.Link = div.Descendants("a").FirstOrDefault().ChildAttributes("href").FirstOrDefault().Value;
product.ImageUrl = div.Descendants("img").FirstOrDefault().ChildAttributes("src").FirstOrDefault().Value;
products.Products.Add(product);
}
}
}
}
Когдая отлаживаю, код запускается в var html = await httpClient.GetStringAsyns (Url), затем прерывается и переходит к следующей строке, возвращая vie (bigModel) в ActionResult OutputTable