Я не могу полностью понять вашу проблему, но из того, что я могу понять, является то, что, если ваша валовая потеря и общая потеря не приблизятся к концу, ваша модель будет работать хорошо, в основном обе ваши потери не должны сильно отличаться. Для такого рода проблем попробуйте использовать tenorBoard, чтобы получить графический вывод для производительности вашей модели и проверить, сильно ли изменяются потеря модели и потеря значения или есть какие-либо помехи.