Я написал следующий код.Происходит что-то очень странное.У меня есть 2 переменные, и когда я их печатаю, я получаю значения sums[d_index][k]=[0 0]
и rewards[k]=[1]
.Поэтому, когда я выполняю sums[d_index][k] = sums[d_index][k]+rewards[k]
для k=0
, я должен ожидать получить sums[d_index][k]=[1 0]
.Но по какой-то нелепой причине я получаю sums[d_index][k]=[0.2 0]
.Я понятия не имею, как на земле это вообще возможно.Почему это происходит и как я могу это исправить?
Я пометил проблемную строку комментарием #HERE!!!!
import numpy as np
import math
e = 0.1
np.random.seed(2)
#Initializing the parameters of the bernoulli distributions randomly
p = np.random.rand(1,2)[0]
#>>>>>>>>>>> p = np.array([ 0.26363424, 0.70255294])
suboptimality_gap = np.max(p)-p
print p
powers = [1]
cumulative_regret = np.zeros((len(powers),1,10))
for round_number in range(1):
#Initializing the arrays to store the estimate and sum of rewards, and count of each action
estimates = np.zeros((len(powers),2))
estimates[:,0] = np.random.binomial(1, p[0], 1)
estimates[:,1] = np.random.binomial(1, p[1], 1)
counts = np.ones((len(powers),2))
sums = estimates[:]
#Updating estimates for action at time t>K=2
for t in range(1,10):
rewards = np.array([np.random.binomial(1, p[0], 1),np.random.binomial(1, p[1], 1)])
for d_index,d in enumerate([1./(t**power) for power in powers]):
#print (np.asarray([(estimates[d_index][i]+((2*math.log(1/d))/(counts[d_index][i]))**0.5) for i in [0,1]]))
k = np.argmax(np.asarray([(estimates[d_index][i]+((2*math.log(1/d))/(counts[d_index][i]))**0.5) for i in [0,1]]))
counts[d_index][k] = counts[d_index][k]+1
print "rewards=",rewards[k]
print "sums=",sums[d_index]
sums[d_index][k] = sums[d_index][k]+rewards[k] #HERE!!!!
estimates[d_index] = np.true_divide(sums[d_index], counts[d_index])
cumulative_regret[d_index][round_number][t]=cumulative_regret[d_index][round_number][t-1]+suboptimality_gap[k]
#print counts
Вывод:
[ 0.4359949 0.02592623]
rewards= 0
sums= [ 0. 0.]
rewards= 0
sums= [ 0. 0.]
rewards= 0
sums= [ 0. 0.]
rewards= 0
sums= [ 0. 0.]
rewards= 0
sums= [ 0. 0.]
rewards= 0
sums= [ 0. 0.]
rewards= 1
sums= [ 0. 0.]
rewards= 1
sums= [ 0.2 0. ]
rewards= 0
sums= [ 0.2 0. ]
Iпрошу прощения, что мой код не организован.Но это потому, что я пытался отладить проблему в течение последнего часа.