Если вы используете ES 2.0, то первое предположение состоит в том, что у вас есть проблема точности. Спецификаторы точности GLSL highp, mediump и lowp являются подсказками, а не абсолютными командами, так как они определяют минимально необходимую точность. Вполне возможно, что симулятор дает вам больше точности, чем вы явно просили, но это не так.
Если вы не были в этом научны, то попробуйте увеличить все до максимума в качестве теста, затем медленно наберите номер вниз и проверьте результаты эмпирически.