Просто создайте пользовательское исключение, установив в сообщении параметры:
try {
...
} catch(Exception ex) {
var customException = new CustomException(ex, string.format("Param1 {0}, Param2 {1}", param1, param2));
bool rethrow = ExceptionPolicy.HandleException(customException, PolicyName);
}
проверил, что на самом деле класс ExceptionFormatter действительно пересекает все внутренние исключения, поэтому ваше CustomException может быть таким простым, как
public class CustomException : Exception
{
public CustomException(string message, Exception innerException) : base(message, innerException)
{
}
}