Остаются ли указатели функций действительными для всех процессов? - PullRequest
Новая
       35

Остаются ли указатели функций действительными для всех процессов?

6 голосов
/ 20 августа 2011

Я написал модуль расширения, который использует указатели функций C ++ для хранения последовательностей вызовов функций. Я хочу «запустить» эти последовательности вызовов в отдельных процессах, используя модуль multiprocessing python (нет общего состояния, поэтому нет проблем с синхронизацией).

Мне нужно знать, остаются ли действительными указатели функций (не указатели данных) после того, как multiprocessing сделает это fork().

Модуль C ++: 

#include <list>
#include <boost/assert.hpp>
#include <boost/python.hpp>
#include <boost/python/stl_iterator.hpp>
#include <boost/foreach.hpp>

/*
 * Some functions to be called
 */
double funcA(double d) { return d; }
double funcB(double d) { return d + 3.14; }
double funcC(double d) { return d - 42.0; }

/*
 * My container of function pointers (picklable to allow use with multiprocessing)
 */
typedef double(*func_ptr_t)(double);
struct CallSequence {
    CallSequence() {
        _seq.push_back(funcA);
        _seq.push_back(funcB);
        _seq.push_back(funcC);
    }

    std::list<func_ptr_t> _seq;
};

template <typename cast_type>
struct CallSequence_picklesuite : boost::python::pickle_suite {
    BOOST_STATIC_ASSERT_MSG(sizeof(cast_type) == sizeof(func_ptr_t), CANNOT_CAST_POINTER_TO_REQUESTED_TYPE);

    static boost::python::list getstate(const CallSequence& cs) {
        boost::python::list ret;
        BOOST_FOREACH(func_ptr_t p, cs._seq)
            ret.append(reinterpret_cast<cast_type>(p));
        return ret;
    }

    static void setstate(CallSequence& cs, boost::python::list l) {
        std::list<func_ptr_t> new_list;
        boost::python::stl_input_iterator<cast_type> begin(l), end;
        for(; begin != end; begin++)
            new_list.push_back(reinterpret_cast<func_ptr_t>(*begin));
        cs._seq.swap(new_list);
    }
};

/*
 * Run the call sequence
 */
double runner(const CallSequence& cs) {
    double ret = 0;
    BOOST_FOREACH(const func_ptr_t& p, cs._seq)
        ret += p(2.18);
    return ret;
}

BOOST_PYTHON_MODULE(my_extension) {
    using namespace ::boost::python;

    class_<CallSequence>("CallSequence")
        .def_pickle(CallSequence_picklesuite<unsigned int>());
    def("runner", runner);
}

Скомпилировано с: 

$ g++ question1.cpp -lboost_python -I /usr/include/python2.7 -shared -o my_extension.so

Код Python, вызывающий его в нескольких процессах: 

#!/usr/bin/python

from multiprocessing import Pool

import my_extension

def runner(sequence):
    return my_extension.runner(sequence)

def main():
    l = [my_extension.CallSequence() for _ in range(200)]

    pool = Pool(processes=4)
    print pool.map(runner, l)

if __name__ == '__main__':
    main()

Вывод соответствует ожидаемому. Я хочу знать, просто ли мне «везет» или могу ли я с уверенностью ожидать, что указатели на функции останутся действительными после fork().

1 Ответ

4 голосов
/ 20 августа 2011

Конечно - адресное пространство копируется при разветвлении, поэтому указатели по-прежнему действительны для родительских и дочерних процессов.

...