Обработка исключений в concurrent.futures.Executor.map - PullRequest
Новая
       28

Обработка исключений в concurrent.futures.Executor.map

0 голосов
/ 28 июня 2018

С https://docs.python.org/3/library/concurrent.futures.html#concurrent.futures.Executor.map

Если вызов func вызывает исключение, то это исключение будет вызвано когда его значение извлекается из итератора.

Следующий фрагмент только выводит первое исключение (исключение: 1) и останавливается. Это противоречит приведенному выше утверждению? Я ожидаю, что следующее напечатает все исключения в цикле. 

def test_func(val):
  raise Exception(val)        

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:   
  for r in executor.map(test_func,[1,2,3,4,5]):
    try:
      print r
    except Exception as exc:
      print 'generated an exception: %s' % (exc)

Ответы [ 3 ]

0 голосов
/ 17 ноября 2018

Как уже упоминалось выше, к сожалению, API executor.map ограничен и позволяет получить только первое исключение. Кроме того, при переборе результатов вы получите значения только с первым исключением.

Чтобы ответить на ваш вопрос, если вы не хотите использовать другую библиотеку, вы можете развернуть карту и вручную применить каждую функцию: 

future_list = []
with concurrent.futures.ThreadPoolExecutor() as executor:
  for arg in range(10):
    future = executor.submit(test_func, arg)
    future_list.append(future)

for future in future_list:
  try:
    print(future.result())
  except Exception as e:
    print(e)

Это позволяет вам обрабатывать каждое будущее индивидуально.

0 голосов
/ 13 марта 2019

Решение Ehsan - это хорошо, но может быть немного эффективнее брать результаты по завершении, чем ждать завершения последовательных элементов в списке. Вот пример из библиотеки документов . 

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://some-made-up-domain.com/']

# Retrieve a single page and report the URL and contents
def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:
        return conn.read()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))
0 голосов
/ 28 июня 2018

Метод map возвращает генератор, который позволяет перебирать результаты по мере готовности.

К сожалению, невозможно возобновить работу генератора после возникновения исключения. От PEP 255 .

Если необработанное исключение, включая, но не ограничиваясь этим, StopIteration - вызывается или проходит через функцию генератора, то исключение передается вызывающей стороне обычным способом, и последующие попытки возобновить функция генератора возбуждает стоп-изменение. Другими словами, необработанное исключение прекращает срок полезного использования генератора.

Существуют и другие библиотеки, такие как pebble, которые позволяют продолжить итерацию после возникновения ошибки. Проверьте примеры в документации.

...