Это определенно неожиданно. См. Документацию: https://square.github.io/leakcanary/recipes/#running -leakcanary-in-instrumentation-tests
LeakCanary автоматически отключается, если для LeakCanary.config.dumpHeap задать значение false, когда JUnit находится в пути к классам выполнения .
Пользовательский прослушиватель теста (leakcanary.FailTestOnLeakRunListener) будет запускать анализ только при успешном выполнении теста, а не при его неудаче.
Так что вы либо вручную включили LeakCanary в тестах пользовательского интерфейса, или код для определения того, что тесты пользовательского интерфейса работают, не работает. В любом случае, вам, вероятно, следует сообщить о проблеме в LeakCanary с этими подробностями.