Вы можете создать ListedColormap . При желании цветная полоса может быть нарисована стрелками экстента.
from matplotlib import pyplot as plt
from matplotlib.colors import ListedColormap
import numpy as np
import seaborn as sns; sns.set()
m = np.matrix([[4.09411765, 5.09411765, 6.09411765],
[3.09411765, 4.09411765, 5.09411765],
[2.09411765, 3.09411765, 4.09411765]])
sns.heatmap(m, annot=True, cmap=ListedColormap(['yellow', 'orange', 'r']), vmin=3, vmax=6,
cbar_kws={'ticks': [4, 5], 'extend': 'both'})
plt.show()