Браузер перерисовывает весь фоновый слой каждый раз, когда вы перетаскиваете на пиксель. Вы можете подтвердить это с помощью инструментов разработчика Chrome (Timeline): http://i.imgur.com/bzXj5.png
Если вы отключите box-shadow и перепрофилируете, ни одно из этих событий рендеринга не сработает. Итак, ваша проблема в том, что вы заставляете все окно перерисовываться. Если вы можете каким-то образом сократить это, то ваша проблема решена.
Тем не менее, сделать это при достижении желаемого вида может быть сложно. Единственное, что я могу придумать, это может сработать, это нарисовать div за вашим диалогом для наложения тени блока. Этот div будет достаточно большим, чтобы получить тень, и потребуется непрозрачный фон. В этом случае перерисовка может повлиять только на меньшее погружение, а не на весь фоновый слой.
Суть в том, что box-shadow стоит дорого, старайтесь избегать перерисовок, подобных этой.