В настоящее время Holoviews не предоставляет эту опцию напрямую, поэтому вам нужно определить пользовательский хук, который модифицирует базовую модель боке, он должен выглядеть примерно так:
def tools(plot, element):
plot.handles['plot'].toolbar.active_drag = None
hv.Curve([]).opts(hooks=[tools])