Первая версия Modelsim 10.4 была выпущена еще в 2014 году и не имела поддержки Windows 10, возможно, что еще более важно, она также еще не поддерживала Windows 8.1, так что я думаю, что вы просто наткнулись на проблему совместимости Windows.
Попробуйте запустить Modelsim (vsim / vcom / vlib / etc) в режиме совместимости с Windows7 / 8, попробуйте 32-битную версию или, если у вас есть лицензия, установите более позднюю версию Modelsim SE.
Удачи, Ганс.