Не используйте дату, сделайте это следующим образом:
time = DateTime.civil_from_format(:local, 2011, 4, 9)
CourseOrder.where("ordered_at > ? AND ordered_at < ?", time - 1.day, time)
Вы храните дату и время, поэтому запросите вместо того, чтобы пытаться использовать дату, которая не учитывает часовые пояса.