Для любого современного оборудования (с поддержкой DX10 или выше) можно предположить, что производительность чтения атрибутов всегда зависит от доступа к памяти, а не от преобразования целого числа в число с плавающей точкой. По сути это бесплатно .
Это в основном относится и к аппаратному обеспечению класса DX9, но некоторые аппаратные средства имеют определенные форматы вершин, с которыми оно не очень хорошо работает.
При этом я бы не был уверен, что смогу использовать байты без знака для текстурных координат. В большинстве моделей вам обычно требуется более высокая точность, чем в расчете на тексель, для координат текстуры. Неподписанные шорты обычно хороши, но в байтах недостаточно точности, чтобы заставить их работать.