Я не верю, что есть способ использовать NotificationManager только для отмены уведомления, но вы можете сделать это с помощью более простого обработчика.Добавьте код, подобный этому, сразу после того, как вы отправите уведомление.
Handler h = new Handler();
long delayInMilliseconds = 5000;
h.postDelayed(new Runnable() {
public void run() {
mNotificationManager.cancel(YourNotificationId);
}
}, delayInMilliseconds);