Я в конечном итоге решил эту проблему, используя определение для папки
!define DefaultAutoDocEditFolder "$PROGRAMFILES32\AutoDocEdit\AutoDocEdit.exe"
, а затем применил вот так
${registry::Write} "HKEY_CLASSES_ROOT\autodocedithandler\shell\open\command" "" '${DefaultAutoDocEditFolder} "%1"' "REG_EXPAND_SZ" $R0
Надеюсь, что это решение поможет кому-то еще.