Я уверен, что это возможно. Как вы думаете, вы могли бы создать приложение, которое регистрирует эти папки, а затем добавить его в наблюдатель файловой системы. Перехватывать любые записи и отменять их, если размер файла + текущий размер папки больше, чем макс.
Может быть, разбить проблему на маленькие кусочки.
Я уверен, что есть лучший способ, но сервисное приложение, которое интегрируется с ОС, было бы очень хорошим вариантом.
Надеюсь, это поможет. Пожалуйста, не минус репутация, мне просто нравятся такие проблемы. Это очень хороший вопрос!