Многопоточность вычисляет среднее значение и стандартное отклонение не улучшает эффективность - PullRequest
Новая
       12

Многопоточность вычисляет среднее значение и стандартное отклонение не улучшает эффективность

0 голосов
/ 18 января 2019

Я новичок в области многопоточного программирования на C ++ и пытаюсь использовать многопоточность для параллельного вычисления среднего и стандартного отклонения моих данных, чтобы сократить затраты времени. Моя функция расчета среднего и стандартного отклонения заключается в следующем. 

void cal_mean_std(float* data, float* mean, float* sd, int N, int start_index, int span_cols)
{
    int value;
    for(int j = start_index; j < start_index + span_cols; j++){
        mean[j] = 0;
        sd[j] = 0;
        for (int i = 0; i < N; i++) {
            value = data[j * N + i];
            mean[j] += value;
            sd[j] += value * value;
        }
        mean[j] = mean[j] / N;
        sd[j] = sqrt(sd[j] / N - mean[j] * mean[j]);
    }
}

Я указываю начальный индекс и интервалы расчета для каждого потока и активирую свой thread_pool следующим образом. 

    x.mean = new float[x.M];
    x.sd = new float[x.M];
    std::vector<std::thread> thread_pool;

    int h = 4;
    thread_pool.reserve(h);
    int SNIPs = static_cast<int>(x.M / h + 1);
    int SNIPs_final = x.M - (h - 1) * SNIPs;
     for (int i = 0; i < h - 1; i++)
     {
         thread_pool.push_back(std::thread(std::bind(cal_mean_std, x.data, x.mean, x.sd,
                                                 x.N, i*SNIPs, SNIPs)));
     }
    thread_pool.push_back(std::thread(std::bind(cal_mean_std, x.data, x.mean, x.sd,
                                                 x.N, (h-1)*SNIPs, SNIPs_final)));
    for (int i = 0; i < h; i++)
        thread_pool.at(i).join();

, где x.M - общее количество столбцов в моих данных. Однако я обнаружил, что реализация таким способом не повысила эффективность программы. Я не уверен, в чем проблема.

На самом деле, мы можем смоделировать данные для выполнения вычислений. Мой размер данных 5k x 300k. Последовательный расчет с использованием цикла for для всех данных в одном потоке занимает 15 секунд. Моя многопоточная версия иногда занимает 16 секунд.

Код симуляции следующий, и я обнаружил, что когда я использую h = 1, программе требуется 6 секунд, чтобы закончить. Однако, когда я использую h = 4, программе требуется 14 секунд, чтобы закончить. 

#include <thread>
#include <vector>
#include <stdlib.h>
#include <vector>
#include <stdio.h>
#include <iostream>
#include <math.h>

void gen_matrix(int N, int P, float* data){
    for (int i = 0; i < N * P; i++)
    {
        data[i] = rand() % 10;
    }
}

void cal_mean_std(float* data, float* mean, float* sd, int N, int start_index, int span_cols)
{
    int value;
    for(int j = start_index; j < start_index + span_cols; j++){
        mean[j] = 0;
        sd[j] = 0;
        for (int i = 0; i < N; i++) {
            value = data[j * N + i];
            mean[j] += value;
            sd[j] += value * value;
        }
        mean[j] = mean[j] / N;
        sd[j] = sqrt(sd[j] / N - mean[j] * mean[j]);
    }
}

int main()
{
    int N = 5000;
    int P = 300000;
    float* data = new float[N*P];
    gen_matrix(N, P, data);
    float* mean = new float[P];
    float* std = new float[P];
    std::vector<std::thread> thread_pool;
    clock_t t1;
    t1 = clock();
    int h = 1;
    thread_pool.reserve(h);
    int SNIPs = static_cast<int>(P / h + 1);
    int SNIPs_final = P - (h - 1) * SNIPs;
    for (int i = 0; i < h - 1; i++)
    {
        thread_pool.push_back(std::thread(std::bind(cal_mean_std, data, mean, std,
                                                    N, i*SNIPs, SNIPs)));
    }
    thread_pool.push_back(std::thread(std::bind(cal_mean_std, data, mean, std,
                                                N, (h-1)*SNIPs, SNIPs_final)));
    for (int i = 0; i < h; i++)
        thread_pool.at(i).join();
    std::cout <<"Time for the cal mean and std is " << (clock() - t1) * 1.0/CLOCKS_PER_SEC << std::endl;
    return 0;
}

1 Ответ

0 голосов
/ 22 января 2019

Спасибо всем. Наконец, я обнаружил, в чем проблема с моим кодом. Таймер clock_t вычисляет время использования процессора вместо времени на стене.

...