Отказ от ответственности: Это всего лишь предложение о том, как вы можете решить эту проблему.Возможно, есть и лучшие альтернативы.
Думаю, было бы полезно принять во внимание взаимосвязь между elapsed-time-since-posting
и final-score
.Следующая кривая из [OC] Upvotes по времени для поста Reddit моделирует поведение final-score
или total-upvotes-count
во времени:
Кривая, очевидно, основана на том факте, что после публикации сообщения в сети вы ожидаете несколько линейного восходящего поведения, которое медленно сходится / стабилизируется около максимума (и оттуда у вас плавный / ровный наклон).
Кроме того, мы знаем, что обычно количество голосов / комментариев возрастает в зависимости от времени.связь между этими элементами можно рассматривать как серию, я решил смоделировать ее как геометрическую прогрессию (вы можете рассмотреть арифметическую, если вы видите, что она лучше).Кроме того, вы должны помнить, что вы учитываете некоторые элементы дважды;Некоторые пользователи прокомментировали и проголосовали, так что вы посчитали их дважды, а некоторые могут комментировать несколько раз, но могут проголосовать только один раз.Я решил учесть, что только 70% (в коде p = 0.7
) пользователей являются уникальными комментаторами, а пользователи, которые комментировали и голосовали, представляют 60% (в коде e = 1-0.6 = 0.4
) от общего числа пользователей (комментаторов и пользователей, добавивших комментарий).результат этих допущений:
Итак, у нас есть два уравнения для моделирования баллов, чтобы вы могли объединить их и взять их среднее значение.В коде это будет выглядеть так:
import warnings
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit
from mpl_toolkits.mplot3d import axes3d
# filter warnings
warnings.filterwarnings("ignore")
class Cfit:
def __init__(self, votes, comments, scores, fit_size):
self.votes = votes
self.comments = comments
self.scores = scores
self.time = 60 # prediction time
self.fit_size = fit_size
self.popt = []
def func(self, x, a, d, q):
e = 0.4
b = 1
p = 0.7
return (a * np.exp( 1-(b / self.time**d )) + q**self.time * e * (x + p*self.comments[:len(x)]) ) /2
def fit_then_predict(self):
popt, pcov = curve_fit(self.func, self.votes[:self.fit_size], self.scores[:self.fit_size])
return popt, pcov
# init
init_votes = np.array([3, 1, 2, 1, 0])
init_comments = np.array([0, 3, 0, 1, 64])
final_scores = np.array([26, 12, 13, 14, 229])
# fit and predict
cfit = Cfit(init_votes, init_comments, final_scores, 15)
popt, pcov = cfit.fit_then_predict()
# plot expectations
fig = plt.figure(figsize = (15,15))
ax1 = fig.add_subplot(2,3,(1,3), projection='3d')
ax1.scatter(init_votes, init_comments, final_scores, 'go', label='expected')
ax1.scatter(init_votes, init_comments, cfit.func(init_votes, *popt), 'ro', label = 'predicted')
# axis
ax1.set_xlabel('init votes count')
ax1.set_ylabel('init comments count')
ax1.set_zlabel('final score')
ax1.set_title('fincal score = f(init votes count, init comments count)')
plt.legend()
# evaluation: diff = expected - prediction
diff = abs(final_scores - cfit.func(init_votes, *popt))
ax2 = fig.add_subplot(2,3,4)
ax2.plot(init_votes, diff, 'ro', label='fit: a=%5.3f, d=%5.3f, q=%5.3f' % tuple(popt))
ax2.grid('on')
ax2.set_xlabel('init votes count')
ax2.set_ylabel('|expected-predicted|')
ax2.set_title('|expected-predicted| = f(init votes count)')
# plot expected and predictions as f(init-votes)
ax3 = fig.add_subplot(2,3,5)
ax3.plot(init_votes, final_scores, 'gx', label='fit: a=%5.3f, d=%5.3f, q=%5.3f' % tuple(popt))
ax3.plot(init_votes, cfit.func(init_votes, *popt), 'rx', label='fit: a=%5.3f, d=%5.3f, q=%5.3f' % tuple(popt))
ax3.set_xlabel('init votes count')
ax3.set_ylabel('final score')
ax3.set_title('fincal score = f(init votes count)')
ax3.grid('on')
# plot expected and predictions as f(init-comments)
ax4 = fig.add_subplot(2,3,6)
ax4.plot(init_votes, final_scores, 'gx', label='fit: a=%5.3f, d=%5.3f, q=%5.3f' % tuple(popt))
ax4.plot(init_votes, cfit.func(init_votes, *popt), 'rx', label='fit: a=%5.3f, d=%5.3f, q=%5.3f' % tuple(popt))
ax4.set_xlabel('init comments count')
ax4.set_ylabel('final score')
ax4.set_title('fincal score = f(init comments count)')
ax4.grid('on')
plt.show()
Вывод предыдущего кода следующий: Ну, очевидно, предоставленный набор данных слишком мал, чтобы оценить любой подходтак что это зависит от вас, чтобы проверить это больше.
Основная идея здесь заключается в том, что вы предполагаете, что ваши данные соответствуют определенной функции / поведению (описанному в func
), но вы даете им определенные степени свободы (ваши параметры: a
, d
, q
) и, используя curve_fit
, вы пытаетесь приблизить наилучшую комбинацию этих переменных, которая будет соответствовать вашим входным данным и вашим выходным данным.Как только вы получите возвращенные параметры из curve_fit
(в коде popt
), вы просто запустите свою функцию, используя эти параметры, например, вот так (добавьте этот раздел в конце предыдущего кода):
# a function similar to func to predict scores for a certain values
def score(votes_count, comments_count, popt):
e, b, p = 0.4, 1, 0.7
a, d, q = popt[0], popt[1], popt[2]
t = 60
return (a * np.exp( 1-(b / t**d )) + q**t * e * (votes_count + p*comments_count )) /2
print("score for init-votes = 2 & init-comments = 0 is ", score(2, 0, popt))
Вывод:
score for init-votes = 2 & init-comments = 0 is 14.000150386210994
Вы можете видеть, что этот вывод близок к правильному значению 13
, и, надеемся, с большим количеством данных вы сможете получить более точные и точные аппроксимации ваших параметров и, следовательно, лучшие "прогнозы".