KL-расстояние в R

Question

Я хотел бы вычислить KL-расстояние из двух гамма-распределений, используя R.

Вот мой R-код:

theta1 <- 0.2
theta2 <- 2

f <- function(u)
{
     dgamma(u, shape=1/theta1, scale=theta1) * 
      (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) -
       dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
}

f <- Vectorize(f)
integrate(f, lower=0, upper=Inf)

Есть ли у вас какие-либо комментарии к моему R-коду? Как вы думаете, это хороший способ вычислить KL-расстояние?

Любое предложение будет оценено,

Thx, Marco

Answer 1

Я бы определил все аргументы, которые используются в функции. Я имею в виду:

my.theta1 <- 0.2
my.theta2 <- 2

f <- function(u, theta1, theta2)
{
     dgamma(u, shape=1/theta1, scale=theta1) * 
      (dgamma(u, shape=1/theta1, scale=theta1, log=TRUE) -
       dgamma(u, shape=1/theta2, scale=theta2, log=TRUE)) 
}


f <- Vectorize(f)
integrate(f, lower=0, upper=Inf, theta1 = my.theta1, theta2 = my.theta2)

Более явное предотвращение «несчастных случаев», поскольку ваша функция ищет theta1 и theta2 в более высоких (глобальных) средах (которые могут запутаться, если эта функция зарыта глубоко внутри программы).

Answer 2

Проверьте явную формулу здесь:

http://en.wikipedia.org/wiki/Gamma_distribution#Kullback.E2.80.93Leibler_divergence