в вашем случае вы можете добавить:
alertbox.dismiss ()
когда вы вызываете finish (), это в целом действие, а не просто диалог
EDIT:
public void onClick(DialogInterface arg0, int arg1) {
Intent menu = new Intent("nik.trivia.MENU");
startActivity(menu);
arg0.dismiss();
finish();
или вы можете объявить защищенное окно оповещения:
protected AlertDialog alertDialog
и n вы сможете вызывать увольнение на нем отовсюду