Вы никогда не должны устанавливать вещи с настраиваемыми действиями, поскольку именно для этого и предназначен весь MSI.
Если вы действительно хотите сделать это, убедитесь, что вы запланировали свои действия в таблице ExecuteInstallSequenceиначе они не будут бежать.Кроме того, убедитесь, что ваша dll включена в двоичную таблицу и что ваши пользовательские действия ссылаются на этот двоичный файл.