Используйте обычный способ расчета разницы в днях с одним изменением - конвертируйте обе ваши даты в полночь.
let d1 = ... // your first date
let d2 = ... // your second date
let cal = Calendar.current
let days = cal.dateComponents([.day], from: cal.startOfDay(for: d1), to: cal.startOfDay(for: d2)).day!
Это даст ответ 1
для «вчера в 23:00» и «сегодня в 1:30», например.