Здравствуйте, я работаю над полным контролем над проблемой с карполом (перевернутый маятник). Моя цель состоит в том, чтобы система достигла стабильности, то есть все состояния (x, xdot, theta и theta) должны сходиться к нулю. Я использую q-learning с функцией вознаграждения, определенной ниже.
Q_table[pre_s + (a,)] += alpha * (R + gamma *(argmax(Q_table[s])) - Q_table[pre_s + (a,)])
R=1000*cos(theta)-1000*(theta_dot**2)-100*(x_dot**2)-100*(x**2)
к сожалению, конвергенции нет. На графике q-таблицы я вижу, как он увеличивается и стабилизируется при максимальном значении, но состояния просто остаются в пределах определенной границы и не стремятся к нулю. Я чувствую, что мой агент не учится достаточно быстро, и в какой-то момент я больше не учусь.
Может ли кто-нибудь помочь мне.