Влияет ли оптимизация значения, преобразованного с помощью биекции, на производительность или точность?

Question

Если я хочу оптимизировать функцию относительно некоторого ограниченного значения, я могу найти биективную карту между неограниченным пространством и ограниченным пространством, а затем оптимизировать композицию исходной функции и биективной карты по отношению к неограниченному значению. .

Влияет ли оптимизация в другом пространстве на производительность или точность оптимизации? И различается ли он между биективными картами?

Мой вариант использования - это обучение ограниченных гиперпараметров гауссовской модели процесса в GPflow с использованием бижекторов TensorFlow Probability.

Answer 1

Если я вас правильно понимаю, у вас может быть, например, некоторая переменная, которая должна быть положительной, и вы хотите ее оптимизировать. И для этого вы обучаете переменную в пространстве без ограничений? значение.

Думаю, эффект от оптимизации во многом зависит от того, как вы ее оптимизируете. Для методов на основе градиента это действительно имеет эффект, и иногда для решения этих проблем полезны небольшие уловки (например, смещение, чтобы ваше преобразование было tf.exp (shift_val + unlimited_variable)).

И да, да, это зависит от разных отображений. В моем примере softplus и экспоненциальное преобразование приводят к разным градиентам. Сложно, я не уверен, есть ли согласие на то, какое из них предпочтительнее.

Я бы просто попробовал несколько разных. До тех пор, пока это не приводит к числовым проблемам, любое преобразование / биекция подойдут.

EDIT: просто для пояснения. Биекция не должна влиять на пространство решений, а только на сам путь оптимизации.