[Редактировать: обсуждение перенесено на stat.stackexchange.com, ссылка здесь ]
Я использую Python пакетов lime и shap для объяснения одного ( набор тестов) предсказания, которые основанная c обученная модель делает на новых табличных данных. WLOG, объяснения, полученные обоими методами, не согласуются с интуицией пользователя.
Например, при использовании методов в медицинских учреждениях они могут перечислить наличие сопутствующей патологии (заболевание, которое часто сопутствует исходу интересующего заболевания) в качестве фактора, уменьшающего риск возникновения побочных эффектов у пациента.
Интуитивно, такое поведение неверно. Мы не должны видеть, что history of heart attacks понижает risk of adverse events, например. По каким причинам мы можем видеть эти несоответствия?
Некоторые из моих идей
- Дисбаланс меток классов: пробовал балансировать набор данных, не решил проблему
- Ширина ядра для LIME: работает над настройкой этого, но при этом не приносит никакой пользы
- Связь с данными обучения: для табличных данных как
lime, так и shap требуется обучающий набор данных в качестве входных данных построить класс объясняющего. Если бы были случаи, когда такая особенность, как history of heart attacks, была связана с результатом no adverse event, такие экземпляры, так сказать, «запутали бы» методы. Однако я не уверен, что у меня там правильная интуиция. - Ошибка в понимании с моей стороны: здесь могут быть нюансы в интуиции, которые я пропустил. В частности, я пытаюсь убедиться, что правильно понимаю взаимосвязь между сгенерированными объяснениями и набором обучающих данных, использованным для их построения.