Вам нужно добавить несколько ключей в реестр, если вы не хотите делать это через установщик:
[HKEY_CLASSES_ROOT\xxxfile]
[HKEY_CLASSES_ROOT\.xxx]
@="xxxfile"
[HKEY_CLASSES_ROOT\xxxfile\DefaultIcon]
@="path_to_your_icon"
[HKEY_CLASSES_ROOT\xxxfile\shell]
[HKEY_CLASSES_ROOT\xxxfile\shell\open]
[HKEY_CLASSES_ROOT\xxxfile\shell\open\command]
@="command_to_run_on_double-click"
Как это сделать, другой вопрос, большинство пакетов установщика будет иметьвозможность сделать это для вас.