Измените настройки USB на телефоне с «устройства хранения данных» на «зарядка»; это предотвратит автоматическое подключение телефона к ПК. Это не повлияет на adb, который использует другой механизм для общения с телефоном. Тогда вы можете просто дернуть вилку, когда захотите.
(Если вы оставите его в режиме «запоминающее устройство», есть вероятность, что вы повредите файловую систему на SD-карте, когда вы отключите устройство. Плюс, приложение, с которым вы работаете, не сможет доступ к SD-карте в любом случае.)