Time.deltaTime НЕ является физическим временным шагом.
Time.deltatime (продолжительность последнего кадра) должен использоваться только один раз за вызовы кадра, например Обновить () звонки.
Time.fixedDeltaTime следует использовать только в FixedUpdate (), так как это время выборки физического цикла
Если это не решит проблему, вы можете просто использовать логику перезапуска логики местности. Это означает, что он начнет работать с того момента, когда ваш игровой объект начнет двигаться