Можете ли вы опубликовать снимок экрана или описание появившегося окна или информационного сообщения?
... потому что он работает нормально для меня, когда я пытался на IE8 / Windows 7 / MBP.
Я сделал html-файл с вашим кодом, который вы разместили, и когда я выбрал свой собственный файл xls (сохраненный в Excel 2007) в IE8, он вызвал у меня диалоговое окно для открытия / сохранения / отмены файла (например, при загрузке вложения), и я могу выбрать его для просмотра, и документ успешно открывается.
Может также проверить указанный вами относительный путь, верно ли, что указанный файл существует и не поврежден, а ваш компьютер запрограммирован на запуск файлов xls с Excel по умолчанию?