Я закончил тем, что добавил немного кода в мою основную тему mui.
const theme = createMuiTheme({
palette: {
primary: {
main: '#39870c',
ligth: '#6cb842',
dark: '#005900'
},
secondary: {
light: '#01689b',
main: '#0044ff',
contrastText: '#ffcc00',
},
},
overrides: {
MuiInputLabel: {
root: {
color:'black',
fontSize: 13,
},
},
}
});
С переопределениями я мог в принципе изменить что угодно. Я надеюсь, что это поможет кому-то в будущем, потому что это было действительно раздражающим, чтобы найти.