Это не проблема как таковая. На графическом процессоре используются 16-разрядные числа с плавающей запятой, тогда как на процессоре используются 32-разрядные числа с плавающей запятой. 16-разрядные числа с плавающей точкой имеют меньшую точность, что объясняет различные результаты, которые вы получаете.
Некоторые числа будут немного больше, некоторые будут немного меньше, но обычно эти эффекты отменяются, и вы не заметите разницу.
(Однако, если ваша модель генерирует изображения, вы можете заметить пиксельные артефакты с более низкой точностью, обеспечиваемой 16-разрядными числами с плавающей запятой.)