мы изучаем возможность использования обучения с учетом квантования для исследовательского проекта, чтобы определить влияние квантования во время обучения на скорость сходимости и время выполнения. Однако мы еще не полностью уверены, что это правильный инструмент. Не могли бы вы прояснить следующие моменты: 1) Если слой квантуется во время обучения с учетом квантования, это означает, что входные данные и веса квантуются, а все операции, включая функцию активации, квантуются, а затем, перед возвратом, выходы деквантуются с точностью совместим со следующим слоем. Это понимание правильное? 2) Совместимость профилировщика Tensorboard? 3) Приводит ли обучение с учетом квантования, в принципе, к ускорению во время обучения в вашем общем опыте или это невозможно из-за того, что оно является исключительно симуляцией? 4) Можете ли вы указать нам ресурс о том, как добавить пользовательские квантователи и типы данных в тензорный поток, чтобы они были совместимы с GPU?
Большое спасибо за вашу помощь!