Похоже, проблема точности с вашими картами текстур, вы используете поплавки (32 бита) или что-то меньшее? А как рассчитать координаты?
Также иногда помогает оставить границу в 1 пиксель между текстурами (иногда вы всегда получаете ошибку округления).
Сам я использую эту программу http://www.texturepacker.com/ (никак не связан), и вы получаете из нее текстурную карту и координаты UV, вы также можете указать отступ вокруг текстур, и он также может выдавливать последние цвет вокруг вашей текстуры, так что даже если вы получите странные закругления проб, вы всегда можете получить идеальный шов.
Я бы сначала проверил вашу точность и вычислил.