Измеряйте время процессора, затрачиваемое на каждый поток отдельно в C ++ - PullRequest
1 голос
/ 20 июня 2020

Я знаю, что этот вопрос звучит как простой вопрос и дублирует предыдущие, в которых в качестве ответов даются boost.timer и функция chrono в C ++ 11.

Но что у меня есть в виду немного отличается, и я не нашел ответа на него ни в StackOverflow, ни где-либо еще:

В моей программе (C ++ 11) на Ubuntu Linux я запускаю несколько потоков с std :: asyn c и механизм std :: future.

Внутри каждого потока я измеряю CPU-Time с помощью boost.timer (). Если я запускаю только один поток, я получаю процессорное время (в моем примере) ~ 0,39 с c и равное время W C ~ 0,39 с c.

Если я запускаю несколько потоков Я получаю более длительное время W C для каждого, скажем, 0,8 se c для 16 потоков, и теперь время ЦП для каждого составляет примерно 6,4 se c, то есть 8 * 0,8 se c (у меня есть четырехъядерный процессор Xeon).

Таким образом, время ЦП каждого потока, по-видимому, умножается на (количество ядер ЦП) * 2.

Конечно (?) Я хотел бы см. время ЦП около 0,39 сек c для каждого потока, так как это, вероятно, все еще время, когда поток использует ЦП для своих целей. Показанное более продолжительное время ЦП (умноженное на «коэффициент числа ЦП») не очень помогает в оценке истинного потребления ЦП каждым потоком в отдельности.

Для иллюстрации я сначала добавляю свою тестовую программу и ее результат для одного потока, затем для 16 потоков.

Итак, мой вопрос: Что я могу сделать, какую библиотеку, функцию или метод программирования я могу использовать, чтобы получить истинное использование ЦП каждым потоком, который должен не сильно изменится с количеством запущенных потоков?

#include <iostream>
#include <fstream>

#include <vector>
#include <cmath>

#include <future>
#include <mutex>
#include <chrono>

#include <boost/timer/timer.hpp>

std::mutex mtx;


class XTimer
{
public:
    XTimer() {};

    void start();
    void stop();

    double cpu_time();
    double boost_cpu_time();
    double wc_time();

    std::chrono::time_point<std::chrono::system_clock> timestamp_wc;
    std::chrono::time_point<std::chrono::steady_clock> timestamp_cpu;

    boost::timer::cpu_timer timer_cpu;

    double wc_time_val;
    double cpu_time_val;

    double boost_cpu_time_val;

};

void XTimer::start()
{
    timestamp_wc = std::chrono::system_clock::now();
    timestamp_cpu = std::chrono::steady_clock::now();

    timer_cpu.start();

    cpu_time_val = 0;
    wc_time_val = 0;

    boost_cpu_time_val = 0;


}

void XTimer::stop()
{
    const auto ns_wc = std::chrono::system_clock::now() - timestamp_wc;
    const auto ns_cpu = std::chrono::steady_clock::now() - timestamp_cpu;

    auto elapsed_times(timer_cpu.elapsed());

    auto cpu_elapsed(elapsed_times.system + elapsed_times.user);

    //std::cout << "boost: cpu elapsed = " << cpu_elapsed << std::endl;

    wc_time_val = double(ns_wc.count())/1e9;
    cpu_time_val = double(ns_cpu.count())/1e9;

    boost_cpu_time_val = double(cpu_elapsed)/1e9;

}


double XTimer::cpu_time()
{
    return cpu_time_val;
}

double XTimer::boost_cpu_time()
{
    return boost_cpu_time_val;
}

double XTimer::wc_time()
{
    return wc_time_val;
}




template<class T>
int wait_for_all(std::vector<std::future<T>> & fuvec)
{
    std::vector<T> res;

    for(auto & fu: fuvec) {
        res.push_back(fu.get());
    }
    return res.size();

}


int test_thread(int a)
{
    const int N = 10000000;

    double x = 0;

    XTimer tt;

    do {
        std::lock_guard<std::mutex> lck {mtx}; 
        std::cout << "start thread: " << a << std::endl;
    } while (0);

    tt.start(); 

    for(int i = 0; i < N; ++i) {

        if (i % 10000 == 0) {
            //std::cout << (char((int('A') + a)));
        }

        x += sin(i);
    }

    tt.stop();

    do {
        std::lock_guard<std::mutex> lck {mtx};

        std::cout << "end thread: " << a << std::endl;
        std::cout << "boost cpu = " << tt.boost_cpu_time() << " wc = " << tt.wc_time() << std::endl;
    } while (0);

    return 0;
}


int test_threads_start(int num_threads)
{

    std::vector<std::future<int>> fivec;

    XTimer tt;

    tt.start();

    for(int i = 0; i < num_threads; ++i) {
        fivec.push_back(std::async(test_thread, i));
    }

    int sz = wait_for_all(fivec);

    tt.stop();

    std::cout << std::endl << std::endl;

    std::cout << "all threads finished: total wc time = " << tt.wc_time() << std::endl;
    std::cout << "all threads finished: total boost cpu time = " << tt.boost_cpu_time() << std::endl;

}


int main(int argc, char** argv)
{
    const int num_threads_default = 1;
    int num_threads = num_threads_default;

    //boost::timer::auto_cpu_timer ac;

    if (argc > 1) {
        num_threads = atoi(argv[1]);
    }

    std::cout << "starting " << num_threads << " threads." << std::endl;

    test_threads_start(num_threads);

    std::cout << "end." << std::endl;

    return 0;
}

Я могу скомпилировать

g++ -o testit testit.cpp -L/usr/lib/x86_64-linux-gnu -pthread -lboost_timer -lboost_system -lboost_thread 

Пример вывода с 1 потоком

starting 1 threads.
start thread: 0
end thread: 0
boost cpu = 0.37 wc = 0.374107


all threads finished: total wc time = 0.374374
all threads finished: total boost cpu time = 0.37

Пример вывода с 16 потоками

starting 16 threads.
start thread: 0
start thread: 1
start thread: 2
start thread: 3
start thread: 4
start thread: 10
start thread: 5
start thread: 7
start thread: 6
start thread: 11
start thread: 8
start thread: 9
start thread: 13
start thread: 12
start thread: 14
start thread: 15
end thread: 1
boost cpu = 4.67 wc = 0.588818
end thread: 2
boost cpu = 5.29 wc = 0.66638
end thread: 0
boost cpu = 5.72 wc = 0.7206
end thread: 13
boost cpu = 5.82 wc = 0.728717
end thread: 11
boost cpu = 6.18 wc = 0.774979
end thread: 12
boost cpu = 6.17 wc = 0.773298
end thread: 6
boost cpu = 6.32 wc = 0.793143
end thread: 15
boost cpu = 6.12 wc = 0.767049
end thread: 4
boost cpu = 6.7 wc = 0.843377
end thread: 14
boost cpu = 6.74 wc = 0.84842
end thread: 3
boost cpu = 6.91 wc = 0.874065
end thread: 9
boost cpu = 6.83 wc = 0.86342
end thread: 5
boost cpu = 7 wc = 0.896873
end thread: 7
boost cpu = 7.05 wc = 0.917324
end thread: 10
boost cpu = 7.11 wc = 0.930335
end thread: 8
boost cpu = 7.03 wc = 0.940374


all threads finished: total wc time = 0.957748
all threads finished: total boost cpu time = 7.14
end.

1 Ответ

1 голос
/ 20 июня 2020

В документации по boost :: timer ничего не говорится об измерениях по потокам. К счастью, boost :: chrono содержит thread_clock , который дает использование ЦП на каждый поток на платформах, которые его поддерживают. Он использует тот же интерфейс, что и часы std :: chrono, и измеряет настенные часы потоков.

После добавления следующих строк в ваш пример кода:

// Includes section
#include <boost/chrono.hpp>

// XTimer
boost::chrono::thread_clock::time_point timestamp_thread_wc;
double thread_wc_time_val;

// XTimer::start()
timestamp_thread_wc = boost::chrono::thread_clock::now();

// XTimer::stop()
const auto ns_thread_wc = boost::chrono::thread_clock::now() - timestamp_thread_wc;
thread_wc_time_val = double(ns_thread_wc.count())/1e9;

// test_thread() just after for loop
sleep(1);

// test_thread() in bottom do -> while(0) loop
std::cout << "thread cpu = " << tt.thread_wc_time_val << std::endl;

и компиляции с дополнительной опцией -lboost_chrono Получаю:

starting 1 threads.
start thread: 0
end thread: 0
boost cpu = 0.16 wc = 1.16715
thread cpu = 0.166943


all threads finished: total wc time = 1.16754
all threads finished: total boost cpu time = 0.16
end.

и:

starting 2 threads.
start thread: 0
start thread: 1
end thread: 1
boost cpu = 0.28 wc = 1.14168
thread cpu = 0.141524
end thread: 0
boost cpu = 0.28 wc = 1.14417
thread cpu = 0.14401


all threads finished: total wc time = 1.14442
all threads finished: total boost cpu time = 0.28
end.
...