Является ли модуль Haskell Network.Browser похожим на Perl LWP или механизмом Python?

Question

В документации Network.Browser сказано, что модуль поддерживает следующее:

• Обработка HTTP-аутентификации
• Прозрачная обработка перенаправлений
• Хранение файлов cookie + передача.
• Журнал транзакций. Посреднические соединения.

Для меня это звучит как начало браузера, который позволяет мне сканировать веб-страницы, обрабатывать аутентификацию на веб-сайтах, в файлах cookie и т. Д.

Однако модуль поставляется с нулевым примером кода, инструкциями или учебными пособиями.Я не могу понять, как его использовать.

Может ли кто-нибудь привести пример того, как он может быть использован: 1) зайти на веб-сайт, 2) зайти на него и 3) загрузить файл, который требует от васвойти в систему?

Answer 1

Я бы посоветовал взглянуть и на Network.Curl.

Чтобы ответить на ваш вопрос, вот пример (взято из http://haskell.pastebin.com/9kPiGxiH):

import Data.IORef
import Network.HTTP
import Network.Browser
import Network.URI
import Data.Maybe
import Control.Monad
import Data.List
import Text.Regex.TDFA
import Control.Concurrent

pageUrl off = URI "http:" (Just $ URIAuth "" "www.interpals.net" "") "/dosearch.php" ("?todo=search&sec=adv&age1=15&age2=18&sex[]=FEMALE&lfor[]=lfor_email&lfor[]=lfor_snail&lfor[]=lfor_langex&lfor[]=lfor_friend&lfor[]=lfor_flirt&lfor[]=lfor_relation&countries[]=AT&countries[]=DE&countries[]=CH&state=&languages[]=any&keywords=&sort=p.last_login+DESC&offset="++(show off)) ""

getPage     :: URI -> BrowserAction (HandleStream [Char]) String
getPage uri = do
    setErrHandler $ const $ return ()
    setOutHandler $ const $ return ()
    (_,s) <- request $ Request (uri) GET
        [Header HdrCookie "__ubic1=MTE3ODM0NDM0MTRjN2RkYTA1OTAzMmU4LjkxODE1Njk2; __utma=46363135.421215970.1283316265.1283538085.1283541700.10; __utmz=46363135.1283316265.1.1.utmccn=(direct)|utmcsr=(direct)|utmcmd=(none); __utmc=46363135; PHPSESSID=59a130c66d4853f85289852f15cefa3a; resolution=1920x1080; ip_auto_login[login]=cap11235; ip_auto_login[password_md5]=NDM0NWM0NDlkZTg4MjRkMWVhZmJmZWNiZTQwOWQ4YTE%3D; __utmb=46363135"] ""
    return $ rspBody s

getPeople :: Int -> BrowserAction (HandleStream [Char]) ([String], Int)
getPeople off = do
    s <- getPage (pageUrl off)
    let t = (s=~"<a href='/([^?.]+)\\?")::[[String]]
    let next = if length t > 0 then off+10 else 0
    return (nub $ map (!!1) t, next)

personUrl :: String -> URI
personUrl name = fromJust $ parseURI ("http://www.interpals.net/"++name)

viewPerson :: String -> BrowserAction (HandleStream [Char]) ()
viewPerson name = do
    _ <- getPage $ personUrl name
    return ()

doCycle :: IORef (Int, Int) -> IO ()
doCycle r = do
    (count, off) <- readIORef r
    (people, newOff) <- browse $  getPeople off
    mapM_ (forkIO . browse . viewPerson) people
    let newCount = count + (length people)
    writeIORef r (newCount, if newOff<2000 then newOff else 0)
    print newCount
    doCycle r

main = do
    t <- newIORef (0,0)
    doCycle t