Моя конечная цель - смоделировать статистику теста отношения правдоподобия, однако основная проблема, с которой я сталкиваюсь, заключается в том, что я не понимаю, как заставить TensorFlow 2 выполнить много оптимизаций для различных входных данных.Вот моя попытка, надеюсь, она дает вам представление о том, что я пытаюсь:
import tensorflow as tf
import tensorflow_probability as tfp
from tensorflow_probability import distributions as tfd
import numpy as np
# Bunch of independent Poisson distributions that we want to combine
poises0 = [tfp.distributions.Poisson(rate = 10) for i in range(5)]
# Construct joint distributions
joint0 = tfd.JointDistributionSequential(poises0)
# Generate samples
N = int(1e3)
samples0 = joint0.sample(N)
# Now we need the same distributions but with floating parameters,
# and need to define the function to be minimised
mus = [tf.Variable(np.random.randn(), name='mu{0}'.format(i)) for i in range(5)]
#@tf.function
def loss():
poises_free = [tfp.distributions.Poisson(rate = mus[i]) for i in range(5)]
joint_free = tfd.JointDistributionSequential(poises_free)
# Construct (half of) test statistic
return -2*(joint_free.log_prob(samples0))
# Minimise (for all samples? Apparently not?)
opt = tf.optimizers.SGD(0.1).minimize(loss,var_list=mus)
print(mus)
print(loss())
print(opt)
quit()
Вывод:
[<tf.Variable 'mu0:0' shape=() dtype=float32, numpy=53387.016>, <tf.Variable 'mu1:0' shape=() dtype=float32, numpy=2540.568>, <tf.Variable 'mu2:0' shape=() dtype=float32, numpy=-5136.6226>, <tf.Variable 'mu3:0' shape=() dtype=float32, numpy=-3714.5227>, <tf.Variable 'mu4:0' shape=() dtype=float32, numpy=1062.9396>]
tf.Tensor(
[nan nan nan nan ... nan nan nan], shape=(1000,), dtype=float32)
<tf.Variable 'UnreadVariable' shape=() dtype=int64, numpy=1>
В конце я хочу вычислить статистику теста
q = -2*joint0.log_prob(samples0) - loss()
и покажите, что он имеет распределение хи-квадрат с 5 степенями свободы.
Я новичок в TensorFlow, поэтому, возможно, я делаю это совершенно неправильно, но я надеюсь, что вы поняли идеюиз того, что я хочу.
Редактировать:
Так что я поиграл немного больше, и я предполагаю, что TensorFlow просто не выполняет оптимизацию по входным тензорам параллельнокак я и предполагал.Или, может быть, это возможно, но мне нужно настроить все по-другому, то есть, возможно, дать ему тензор входных параметров и гигантскую функцию потерь в суставах для всех минимизаций одновременно?
Я также пытался делать вещи с простойцикл, чтобы посмотреть, что происходит.Как и предсказывалось, это слишком медленно, но я также даже не могу получить правильный ответ:
poises0 = [tfp.distributions.Poisson(rate = 10) for i in range(5)]
joint0 = tfd.JointDistributionSequential(poises0)
N = int(5e2)
samples0 = joint0.sample(N)
mus = [tf.Variable(10., name='mu{0}'.format(i)) for i in range(5)]
#@tf.function
def loss(xi):
def loss_inner():
poises_free = [tfp.distributions.Poisson(rate = mus[i]) for i in range(5)]
joint_free = tfd.JointDistributionSequential(poises_free)
# Construct (half of) test statistic
return -2*(joint_free.log_prob(xi))
return loss_inner
# Minimise
# I think I have to loop over the samples... bit lame. Can perhaps parallelise though.
q = []
for i in range(N):
xi = [x[i] for x in samples0]
opt = tf.optimizers.SGD(0.1).minimize(loss=loss(xi),var_list=mus)
q += [-2*joint0.log_prob(xi) - loss(xi)()]
fig = plt.figure()
ax = fig.add_subplot(111)
sns.distplot(q, kde=False, ax=ax, norm_hist=True)
qx = np.linspace(np.min(q),np.max(q),1000)
qy = np.exp(tfd.Chi2(df=5).log_prob(qx))
sns.lineplot(qx,qy)
plt.show()
Результат не является распределением хи-квадрат с DOF = 5.Действительно, статистика теста часто имеет отрицательные значения, что означает, что оптимизированный результат часто хуже, чем нулевая гипотеза, что должно быть невозможно.
Редактировать 2:
Вот попытка решения «монстр», где я минимизирую гигантскую сеть различных входных переменных для каждой реализации псевдоданных одновременно.Это больше похоже на то, что TensorFlow может хорошо сделать, хотя я чувствую, что у меня не хватит ОЗУ, когда я перейду к большим наборам псевдоданных.Тем не менее, я, вероятно, могу циклически перебирать пакеты псевдоданных.
poises0 = [tfp.distributions.Poisson(rate = 10) for i in range(5)]
joint0 = tfd.JointDistributionSequential(poises0)
N = int(5e3)
samples0 = joint0.sample(N)
mus = [tf.Variable(10*np.ones(N, dtype='float32'), name='mu{0}'.format(i)) for i in range(5)]
poises_free = [tfp.distributions.Poisson(rate = mus[i]) for i in range(5)]
joint_free = tfd.JointDistributionSequential(poises_free)
qM = -2*(joint_free.log_prob(samples0))
@tf.function
def loss():
return tf.math.reduce_sum(qM,axis=0)
# Minimise
opt = tf.optimizers.SGD(0.1).minimize(loss,var_list=mus)
print("parameters:", mus)
print("loss:", loss())
q0 =-2*joint0.log_prob(samples0)
print("q0:", q0)
print("qM:", qM)
q = q0 - qM
fig = plt.figure()
ax = fig.add_subplot(111)
sns.distplot(q, kde=False, ax=ax, norm_hist=True)
qx = np.linspace(np.min(q),np.max(q),1000)
qy = np.exp(tfd.Chi2(df=5).log_prob(qx))
sns.lineplot(qx,qy)
plt.show()
К сожалению, теперь я получаю сообщение об ошибке:
Traceback (most recent call last):
File "testing3.py", line 35, in <module>
opt = tf.optimizers.SGD(0.1).minimize(loss,var_list=mus)
File "/home/farmer/anaconda3/envs/general/lib/python3.6/site-packages/tensorflow/python/keras/optimizer_v2/optimizer_v2.py", line 298, in minimize
return self.apply_gradients(grads_and_vars, name=name)
File "/home/farmer/anaconda3/envs/general/lib/python3.6/site-packages/tensorflow/python/keras/optimizer_v2/optimizer_v2.py", line 396, in apply_gradients
grads_and_vars = _filter_grads(grads_and_vars)
File "/home/farmer/anaconda3/envs/general/lib/python3.6/site-packages/tensorflow/python/keras/optimizer_v2/optimizer_v2.py", line 924, in _filter_grads
([v.name for _, v in grads_and_vars],))
ValueError: No gradients provided for any variable: ['mu0:0', 'mu1:0', 'mu2:0', 'mu3:0', 'mu4:0'].
, которое, как я полагаю, является основным видом ошибки.Я думаю, что просто не понимаю, как TensorFlow отслеживает производные, необходимые для вычисления.Кажется, что все работает, если я определяю переменные внутри функции потерь, а не снаружи, но они мне нужны снаружи, чтобы позже получить доступ к их значениям.Так что, думаю, я чего-то здесь не понимаю.