Нет, это не удаляет приложение с экрана последних. Это только очищает всю память, связанную с приложением. Это сделано, так как панель последних не использует столько памяти, и пользователь может отслеживать, какие приложения он использовал. Поэтому в следующий раз, когда пользователь нажимает на убитое приложение на панели последних, оно запускается заново с запуска.
Если вы хотите издеваться над функционалом убийцы нехватки памяти, вы можете просто запустить тяжелые приложения и игры на устройстве и посмотреть, убивает ли оно ваше приложение.