Как использовать показатели Fairlearn, чтобы принять решение о том, является ли функция предвзятой или нет? - PullRequest
1 голос
/ 07 августа 2020

Может ли кто-нибудь предложить лучшие практические рекомендации по выбору пороговых значений для показателей несоответствия, чтобы определить, является ли чувствительный атрибут смещенным или нет?

1 Ответ

1 голос
/ 14 августа 2020

Это отличный вопрос! Чтобы понять это, это действительно помогает сформулировать влияние этих аналитических решений с точки зрения того, как они измеряют реальный вред для реальных людей. Власть: критический обзор «предвзятости» в НЛП (Blodget et al., 2020) предлагает некоторые способы подхода к работе по обеспечению справедливости, которые могут привести к более продуктивным беседам, чем сосредоточение внимания только на предвзятости.

Практически, обрамление разговора с точки зрения реального вреда для реальных людей позволяет вам express оценить влияние выбора пороговых значений для показателей справедливости в доступных человеческих терминах. Это может go попутно проиллюстрировать различным заинтересованным сторонам, почему эта работа имеет значение и стоит того. Процессы проверки со стороны человека влияют на то, как вы можете количественно оценить такие виды вреда или рисков. Шум при маркировке в восходящем направлении может повлиять на то, насколько вы доверяете процедуре определения пороговых значений для выявления реального вреда. Для систем поддержки принятия решений последующее участие, принятие и доверие к системам прогнозирования часто влияет на то, действительно ли люди, принимающие решения, используют прогнозы модели. Несколько строк кода могут показать заинтересованным сторонам влияние такого рода шума в восходящем или нисходящем направлении на показатели справедливости и показать заинтересованным сторонам другие способы, которыми техническая система может усиливать реальный вред.

Если вы хотите поболтать больше, или углубитесь в подробности, которые помогут вам изучить это или начать разговор в вашей команде, не стесняйтесь спрашивать также в https://gitter.im/fairlearn/community. Как и в случае с большинством работ по разработке программного обеспечения, проще дать более действенные предложения в рамках конкретного c приложения, контекста или набора ограничений.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...