Нет, сборщик мусора не доставит вам проблем.
Не думайте, что, поскольку у вас нет доступа к объекту, сборщик мусора собирается его очистить.
Сборщик мусора начинается с ряда «корней» - объектов и ссылок, которые, как известно, достижимы. Затем все объекты, достижимые из этих корней, найдены, а все остальное собрано.
Каждый работающий поток, включая потоки, обрабатывающие асинхронные вызовы, включен в список корней.