Обязательно отключайте мультитекстурирование, когда не используете его. OpenGL использует конечный автомат, поэтому, если вы включите текстуру, она останется включенной, пока вы не отключите ее явно.
То, что вы не устанавливаете координаты, не означает, что OpenGL будет предполагать, что вы не используете текстуру.