Используйте свойство Value
.
MyDateTimePicker.Value = DateTime.Today.AddDays(-1);
DateTime.Today
содержит сегодняшнюю дату, из которой вы можете вычесть 1 день (добавьте -1 день), чтобы стать вчера.
DateTime.Now
, с другой стороны, также содержит информацию о времени. DateTime.Now.AddDays(-1)
вернется на этот раз один день назад.