Я не смог найти удобный способ сделать это, поэтому я прибег к этой маленькой вспомогательной функции.
import matplotlib.pyplot as p
def plot_classes(x, y, plotfun=p.scatter, **kwargs):
from itertools import count
import numpy as np
classes = sorted(set(x))
class_dict = dict(zip(classes, count()))
class_map = lambda x: class_dict[x]
plotfun(map(class_map, x), y, **kwargs)
p.xticks(np.arange(len(classes)), classes)
Тогда вызов plot_classes(data["class"], data["y"], marker="+")
должен работать как положено.