Вы можете аннотировать значения следующим образом:
vals = x.groupby('hour_min', as_index=False).agg({'label':[min,max]})
vals.columns = ['_'.join(x) for x in vals.columns.values.reshape(-1)]
# should equal 'label_min' and 'label_max'
for time, label_min, label_max in vals.values:
plt.annotate(label_min, (time, label_min), xytext=(0, -0.5), color='red')
plt.annotate(label_max, (time, label_max), xytext=(0, 0.5), color='red')