Это не может работать эффективно.Событие mousemove для silverlight ожидает, когда ОС отправит сигнал с координатами.Операционная система не запускает свое событие для каждой движущейся точки, если она движется очень быстро.Большинство ОС выполняет бесконечные циклы, которые проверяют состояние машины, если эти циклы быстрые, то она, вероятно, подхватит движение мыши для каждой точки.Если мышь перемещается от (1,1) к (20,20) за 0,001 мс, ОС, вероятно, вызовет событие в (10,10), или не будет вообще, если цикл не попадет вовремя.
Способ, которым вы можете ускорить это, - уменьшить коды при перемещении мыши или сделать их асинхронными.
Другой способ - это математический способ вычисления пути на основе того, что вы уже собрали..