Python Threading наугад возвращает неверные результаты - PullRequest
Новая
       11

Python Threading наугад возвращает неверные результаты

0 голосов
/ 13 июня 2019

Моя проблема

Я использую библиотеку python Thread , и, похоже, возникают некоторые проблемы с возвращением правильных результатов. Когда я запускаю ту же функцию, например десять раз подряд, восемь раз результаты правильные и два раза неправильные.

Когда результаты неверны, это потому, что некоторые словари результатов из отдельных вызовов, казалось бы, случайно объединены вместе.

Мой код:

Эта функция создает сеанс, который повторяет остальные вызовы для определенных кодов состояния: 

# Makes retry sessions
def requests_retry_session(retries=3,backoff_factor=0.3,status_forcelist=(500, 502, 504),session=None):
    """
    Description:
        Creates a session which uses retries
    Input:
        retries (int):  Max number of retries
        backoff_factor (int): Time between retries
        status_forcelist (tuble): Status for which to retry
    Returns:
        session: Requests session which handles different status and connection errors
    """
    session = session or requests.Session()
    retry = Retry(
        total=retries,
        read=retries,
        connect=retries,
        redirect=retries,
        backoff_factor=backoff_factor,
        status_forcelist=status_forcelist,
    )
    adapter = HTTPAdapter(max_retries=retry)
    session.mount('http://', adapter)
    session.mount('https://', adapter)
    return session

Эта функция делает остальные вызовы для нескольких URL: 

def make_rest_calls(urls, header, store=None):
    """
    Description:
        Processes list of urls
    Input:
        urls (list): List of urls for rest call
        header (dictionary): Dictionary containing credentials
        store (dictionary): Dictionary for collecting results
    Returns:
        store (dictionary): Dictionary with results
    """
    if store is None:
        store = {}
    for url in urls:
        store[url] = requests_retry_session().get(url, headers=header, timeout=5)

    return store

Эта функция запускает остальные вызовы, многопоточные 

def run_multi_threaded(nthreads, list_of_urls, header):
    """
    Description:
        Runs multiple threads
    Input:
        nthreads (int): Number for threads to run
        list_of_urls(list): List of rest urls
        header (dictionary): Dictionary containing credentials
    Returns:
        store (dictionary): Dictionary with results
    """
    store = {}
    threads = []

    # create the threads
    for i in range(nthreads):
        small_list_of_urls = list_of_urls[i::nthreads]
        t = Thread(target=make_rest_calls, args=(small_list_of_urls))
        threads.append(t)

    # start the threads
    [t.start() for t in threads ]
    # wait for the threads to finish
    [ t.join() for t in threads ]

    return store

Вопросы

Это слабость пакета? Должен ли я использовать несколько процессов вместо этого? Или я делаю что-то не так, что побочный эффект только несколько раз?

Мне нужно совершать МНОГИЕ звонки, поэтому это нужно делать многопоточно. Очевидно, что также должно быть правильно.

...