Вы можете изменить основной цвет ColorScheme, чтобы изменить цвет ползунка, но для этого потребуется присвоить значение всем цветам.
colorScheme: ColorScheme(
primary: Colors.amber,
primaryVariant: Colors.amber,
secondary: Colors.amber,
secondaryVariant: Colors.amber,
surface: Colors.amber,
background: Colors.amber,
error: Colors.amber,
onPrimary: Colors.amber,
onSecondary: Colors.amber,
onSurface: Colors.amber,
onBackground: Colors.amber,
onError: Colors.amber,
brightness: Brightness.light),