Извините, но я собираюсь избежать вашего вопроса (я все равно не могу ответить на него) и предлагаю вам использовать другой подход.
Вы можете (я полагаю) использовать флажок, чтобы так же легко предоставить возможность человеку, использующему приложение. После того, как тумблер имеет ту же функциональность, что и флажок (указать / выбрать между двумя состояниями), он просто реализует взаимодействие по-разному.
Тумблер не был спроектирован / построен (AFAIK) для поддержки использования поверх чего-то, что также поддерживает тот же жест.
Как общее правило удобства использования, наличие элементов управления друг над другом (или даже рядом друг с другом), которые поддерживают один и тот же жест, может вызвать проблемы для пользователя. Даже если проблемы вызваны случайным срабатыванием неправильного жеста или ожиданиями того, как их жест будет интерпретирован.
В итоге: это действительно сложная проблема для решения; Я не думаю, что вы можете с элементами управления, как они; и проблема полностью исчезнет, если вы все равно используете другой элемент управления для переключения.