Файл, который передается, всегда содержит полный путь.Вам необходимо создать промежуточный тип средства открытия файлов, например, пакетный файл, который удаляет полный путь и использует только имя файла.
ОБНОВЛЕНИЕ Чтобы использовать пакетный файл, создайте batс этим в нем:
start http://localhost/%~n1%~x1
или
firefox http://localhost/%~n1%~x1
Затем в вашем HKEY выполните инструкцию пакета
@="firefox.exe file.bat %1"
Это может работать только для использования пакетаСелектор файлов в вашем HKEY тоже:
@="firefox.exe http://localhost/%~n1%~x1