Возможно, вы могли бы реализовать какую-то форму счетчика, которая отслеживает состояние маски.
Идея состояла бы в том, чтобы проверить состояние маски перед действием кисти. У вас есть общее количество пикселей для начала, а затем добавить или вычесть из счетчика в зависимости от цвета пикселя.
Когда ваш счетчик достигает определенного значения, ваша маска стирается.
Это не идеальное решение, хотя ваша маска может выглядеть так, как будто она была стерта, но у вас все еще есть несколько случайных пикселей, которые удерживают счетчик под необходимым значением, поэтому вам, возможно, придется усреднить немного ... с помощью кисти или с помощью счетчика.