Сначала сохраните Excel в какое-нибудь красивое и простое приложение, например, в виде CSV-файла, чтобы его можно было легко читать на вашем любимом языке, например, на Perl. Переберите каждый файл и выполните поиск и замену. Однако есть одна проблема - делать все за один проход, иначе вы можете создать проблемы, если есть ссылки, которые изменились сложным образом. Т.е. если файл a.html изменился на b.html, а b.html изменился на a.html, вы можете испортить ссылки, если вы сделаете это за несколько проходов. Так что загрузите все изменения в память, затем прокрутите каждый файл и замените все ссылки в нем одновременно.
Потому что именно поиск в html и замена такого инструмента были бы идеальными:
http://www.aliassoftware.com/
Находит и заменяет несколько текстовых строк в нескольких файлах одновременно!