Проблемы с доморощенным веб-сканером - PullRequest
Новая
       10

Проблемы с доморощенным веб-сканером

1 голос
/ 02 января 2009

Я построил веб-сканер в C ++. Я использую API под названием URLdownloadToFile().

  1. Есть ли другой API, который можно использовать?
  2. API URLdownloadToFile() работает хорошо для некоторых URL-адресов и не работает хорошо для некоторых других URL-адресов? Пожалуйста, предложите несколько способов преодоления этой проблемы?

Спасибо, Днянешвари С.

Ответы [ 3 ]

2 голосов
/ 02 января 2009

Возможно, вы захотите заглянуть в libcurl, который позволит вам извлекать контент, используя различные протоколы. Это также должно поддерживать прокси и т. Д., Которые могут вызывать проблемы с конкретными URL-адресами. Смотрите также; http://curl.haxx.se/

0 голосов
/ 02 января 2009

Если нет особой причины придерживаться c ++, вам лучше переключиться на Python и использовать BeautifulSoup . Я использовал curl, и это хорошо, но все мои веб-материалы теперь сделаны на Python

0 голосов
/ 02 января 2009

Возможно, вы захотите взглянуть на WinINet , который представляет собой простой C API для высокоуровневого интерфейса с сетевым стеком HTTP. Другой вариант - WinHttp , который несколько более сложен и требует, чтобы вы имели дело с COM.

...