Стохастическая бинаризация веса

Question

Я читаю BinaryConnect Бумага Бенджио. Я понимаю всю идею и как сделать детерминистическую бинаризацию. Однако я не понял, как работает стохастическая бинаризация (как мы можем это реализовать) и в чем разница между стохастической бинаризацией и детерминированной бинаризацией. Любое объяснение?

Answer 1

Основным отличием между детерминированной и стохастической бинаризацией является метод бинаризации. При детерминированной бинаризации результат бинаризации равен 1, когда входное значение больше определенного порога (например, 0), и 0 в противном случае. Однако при стохастической бинаризации результат может быть равен 1 с вероятностью, связанной с входным значением. Вы можете найти более подробную информацию по ссылке ниже.

https://software.intel.com/en-us/articles/accelerating-neural-networks-with-binary-arithmetic