Обычно вы устанавливаете этот флаг, когда у вас есть новое действие, которое использует ThemeDialog - таким образом, диалог отображается с предыдущим действием, все еще видимым, а в случае FLAG_DIM_BEHIND затемненным.
FLAG_DIM_BEHIND означает, что ваша текущая активность будет видимой и будет иметь нормальную яркость, а предыдущая активность, которая все еще видима (предполагается, что вы используете ThemeDialog), будет затемнена. Я не уверен, что вы можете использовать этот флаг в своих целях.