Определяемая пользователем функция Eigen использует в два раза больше памяти, чем ожидалось - PullRequest
Новая
       15

Определяемая пользователем функция Eigen использует в два раза больше памяти, чем ожидалось

1 голос
/ 28 июня 2019

Я определил следующую функцию (MWE)

(Обратите внимание, что формулировка является адаптацией этой формулировки: Как построить матрицу расстояний без петли (векторизация)? , а также http://nonconditional.com/2014/04/on-the-trick-for-computing-the-squared-euclidian-distances-between-two-sets-of-vectors/)

#include <stdlib.h>
#include <chrono>
#include <Eigen/Dense>
#include <iostream>

using MyMatrix = Eigen::MatrixXd;
using MyMatrix1D = Eigen::VectorXd;

//Calculates e^(scale * ||x-y||_2^2), where ||x-y|| is euclidean distatnce
MyMatrix get_kernel_matrix(const Eigen::Ref<const MyMatrix> x, const Eigen::Ref<const MyMatrix> y)
  {
    const double scale = 0.017;
    const MyMatrix1D XX = x.array().square().rowwise().sum().matrix();
    const MyMatrix1D YY = y.array().square().rowwise().sum().matrix();
     return (((((-2*x)*y.transpose()).colwise() + XX).rowwise() + YY.transpose()).array() * scale).exp().matrix();
  }

int main(int argc, char** argv) {
  const int num_x = 2500;
  const int num_y = 2500;

  const MyMatrix X = MyMatrix::Random(num_x, 2);
  const MyMatrix Y = MyMatrix::Random(num_y, 2);

  const auto t_b_gen = std::chrono::high_resolution_clock::now();
  const MyMatrix k_xp_x(std::move(get_kernel_matrix(X, Y)));
  const auto t_a_gen = std::chrono::high_resolution_clock::now();
  long t_gen = std::chrono::duration_cast<std::chrono::nanoseconds>(t_a_gen - t_b_gen).count();
  std::cout << "Time: " << t_gen << std::endl;
}

, что можно ожидать, заняло бы 2500 *2500* 8 байтов = 50 МБ памяти. Тем не менее, запуск /usr/bin/time -v kern_double сообщает: Maximum resident set size (kbytes): 103288.

Запуск программы через Massif указывает, что блок размером 50 МБ выделяется дважды, один раз при вызове functin и один раз Eigen :: internal :: cal_dense_assignment. Я пытался использовать std::move и без него, чтобы попытаться принудительно удалить копию, однако мне не удалось уменьшить объем памяти.

Что я делаю неправильно и как я могу это исправить, чтобы использовать только необходимую память, а не дублировать?

1 Ответ

2 голосов
/ 28 июня 2019

Это потому, что матричный продукт x*y.transpose() по умолчанию оценивается во временном режиме, чтобы повысить его эффективность. Вы можете все еще использовать это временное значение, разделив последнее выражение следующим образом: 

MyMatrix tmp = -2*x*y.transpose();
tmp = ((((tmp).colwise() + XX).rowwise() + YY.transpose()).array() * scale).exp();
return tmp;

Обратите внимание, что здесь не требуется ни .matrix(), ни std::move.

...