Общие вещи, которые вам нужно сделать:
1. CV подход, который учитывает дисбаланс классов (что-то вроде StraifiedKFold). Таким образом, вы можете быть уверены, что в вашем тестовом наборе всегда есть младший класс
2. Другой показатель (возможно, даже пользовательский, который использует разные веса для разных типов ошибок). Например, посмотрите на потерю фокуса
3. Методы передискретизации / понижающей дискретизации (imblearn в Python)
Дальнейшие шаги
4. Визуализация (ЦНЭ). Могу дать вам некоторые идеи об общей схеме
5. Важность функций и разработка функций на основе важных функций (может упростить классификацию)
5. Другие модели (зависят от (4)), повышающие