Я пытаюсь выяснить, как получить производительность модели глубокого обучения в TOPS. Я знаю, как я могу получить FLOPS например с TF, вы можете найти этот метод . Но я действительно ищу что-то подобное, но после квантования. Я не возражаю против фреймворка, потому что я могу просто попытаться преобразовать его в этот.
Например, OpenVino и TensorRT позволяют преобразовывать модели в FP16 и INT8, но производительность может зависеть от режима выполнения, поэтому я хотел бы знать, какое оборудование мне нужно для работы в INT8.
Есть ли у кого-нибудь из вас идеи?