Квантование CNN: выбор диапазонов - PullRequest
0 голосов
/ 19 июня 2019

Чтобы квантовать модель так, чтобы она взвешивалась (и / или активировалась) в целых 8 битах вместо 32-битных с плавающей точкой для более быстрого вычисления, нам нужно выбрать диапазон в весах.

Есть лиВ любом случае этот выбор диапазона может быть сделан оптимально, а не пробный удар?

Например, скажем, у нас есть распределение веса (с плавающей точкой 32) в [100.0,500.0], мы выбираем диапазон [200.0,455.0] и отображаем его в (целое число 8) [0,255] так, чтобы200.0 сопоставляется с 0, а 455.0 сопоставляется с 255, и все промежуточные веса отображаются линейно на целые числа (ближайшие).

Здесь диапазон ([200.0,455.0]) был выбран случайным образом, что оставляет весав [100.0,200.0) и (455.0,500.0] также, если бы наш диапазон был слишком большим по сравнению с 256, это привело бы к кластеризации весов в отображениях.

Квантование выполняется встоимость точности и оптимальный выбор диапазона могут помочь в уменьшении этой стоимости.

...