moment не загружается всеми возможными языковыми файлами.Он загружает только один язык без конфигурации, и этот язык - английский.
Вы должны импортировать языковой файл и установить языковой стандарт для экземпляра moment.Вы также должны добавить moment в качестве реквизита к MuiPickersUtilsProvider, а также locale:
import moment from 'moment';
import 'moment/locale/de';
moment.locale('de');
<MuiPickersUtilsProvider utils={MomentUtils} locale="de" moment={moment} />