Как применить исключение «поймать все» к сложному скрипту Python? - PullRequest
Новая
       28

Как применить исключение «поймать все» к сложному скрипту Python?

0 голосов
/ 06 октября 2009

У меня есть список из 100 сайтов в формате CSV. Все сайты имеют одинаковый общий формат, включая большую таблицу с 7 столбцами. Я написал этот скрипт, чтобы извлечь данные из 7-го столбца каждого из веб-сайтов, а затем записать эти данные в файл. Однако приведенный ниже сценарий частично работает: открытие выходного файла (после запуска сценария) показывает, что что-то пропускается, поскольку он показывает только 98 записей (очевидно, что сценарий также регистрирует ряд исключений). Руководство по реализации «ловящего исключения» в этом контексте будет высоко оценено. Спасибо! 

import csv, urllib2, re
def replace(variab): return variab.replace(",", " ")

urls = csv.reader(open('input100.txt', 'rb'))  #access list of 100 URLs
for url in urls:
    html = urllib2.urlopen(url[0]).read()  #get HTML starting with the first URL
    col7 = re.findall('td7.*?td', html)  #use regex to get data from column 7
    string = str(col7)  #stringify data
    neat = re.findall('div3.*?div', string)  #use regex to get target text  
    result = map(replace, neat)  #apply function to remove','s from elements
    string2 = ", ".join(result)  #separate list elements with ', ' for export to csv
    output = open('output.csv', 'ab') #open file for writing 
    output.write(string2 + '\n') #append output to file and create new line
    output.close()

Return: 

Traceback (most recent call last):
 File "C:\Python26\supertest3.py", line 6, in <module>
  html = urllib2.urlopen(url[0]).read()
 File "C:\Python26\lib\urllib2.py", line 124, in urlopen
  return _opener.open(url, data, timeout)
 File "C:\Python26\lib\urllib2.py", line 383, in open
  response = self._open(req, data)
 File "C:\Python26\lib\urllib2.py", line 401, in _open
  '_open', req)
 File "C:\Python26\lib\urllib2.py", line 361, in _call_chain
  result = func(*args)
 File "C:\Python26\lib\urllib2.py", line 1130, in http_open
  return self.do_open(httplib.HTTPConnection, req)
 File "C:\Python26\lib\urllib2.py", line 1103, in do_open
  r = h.getresponse()
 File "C:\Python26\lib\httplib.py", line 950, in getresponse
  response.begin()
 File "C:\Python26\lib\httplib.py", line 390, in begin
  version, status, reason = self._read_status()
 File "C:\Python26\lib\httplib.py", line 354, in _read_status
  raise BadStatusLine(line)
BadStatusLine
>>>>

Ответы [ 2 ]

2 голосов
/ 06 октября 2009

Создайте тело вашей for петли в: 

for url in urls:
  try:
    ...the body you have now...
  except Exception, e:
    print>>sys.stderr, "Url %r not processed: error (%s) % (url, e)

(Или используйте logging.error вместо тупого print>>, если вы уже используете модуль logging стандартной библиотеки [и вам следует; -)]).

1 голос
/ 06 октября 2009

Я бы рекомендовал прочитать Ошибки и исключения Документация Python, особенно раздел 8.3 - Обработка исключений.

...