как получить контент сайтов по некоторым параметрам? - PullRequest
Новая
       8

как получить контент сайтов по некоторым параметрам?

0 голосов
/ 25 апреля 2011

Я использую WATIN (я использую 2 дня ...), чтобы получить контент любого веб-сайта, подобный этому:

Deault.aspx: 

<body>
    <form id="form1" runat="server">
    <div>
    <asp:TextBox ID="some_textbox" runat="server"> </asp:TextBox>
    <asp:Button ID="submit_button" runat="server" Text="search" 
            onclick="submit_button_Click" />
    <asp:Label ID="lblMsg" runat="server" Text="" ></asp:Label>
    </div>
    </form>
</body>

Мои коды клиентов через Watin (http://watin.org/documentation/getting-started/)


    private void button1_Click(object sender, EventArgs e)
        {
            //launch a new IE browser
            using (FireFox browser = new FireFox("http://localhost:3411/Default.aspx"))
            {
                //now we have access to the browser object
                //filling a textbox and clicking a button is as easy as
                browser.TextField(Find.ByName("some_textbox")).TypeText("foobar");
                browser.Button(Find.ByName("submit_button")).Click();

                //we can also access the full html of the page to perform regex matches, scrapes, etc...
                string fullPageSource = browser.Html;

            }
        }

У меня есть 2 вопроса:
1) мне не нравится открывать в веб-браузере, он должен быть запущен. потому что я буду искать некоторые данные на 20-30 страницах одного события. ПОЖАЛУЙСТА, не следите за моими веб-страницами, каждая вещь должна бежать назад 2) я пишу текстовое поле название кнопки или whatelse. У меня нет никакой идеи текстовое имя или название кнопки поиска, потому что я буду искать какой-то продукт в Амазонке. мне нужен какой-то трюк, как сделать сравнение цен, как http://www.pricegrabber.com/ WATIN - хорошая идея, или у вас есть какой-либо httprequest dll или метод?

1 Ответ

2 голосов
/ 26 апреля 2011

Watin предназначен для управления веб-браузером так же, как и пользователь. Если вы не хотите открывать веб-браузер, ни Watin, ни Watir не являются эффективным решением для того, что вы хотите сделать. (вопросы законности в стороне).

Возможно, вы захотите использовать другие средства для выполнения HTTP-запросов, а затем проанализировать возвращенный HTML, как только вы получите письменное разрешение от Amazon на доступ к их сайту с помощью инструмента сбора данных, поскольку это происходит без разрешение противоречит условиям их использования.

...