Настройте свой ListView, чтобы иметь обработчик событий для события KeyDown. Затем проверьте, была ли нажата клавиша удаления. Затем используйте SelectedItems, чтобы увидеть, какие элементы выбраны и удалить их. Обязательно переходите снизу вверх, потому что ваша коллекция SelectedItems будет постоянно меняться.
private void listView1_KeyDown(object sender, KeyEventArgs e)
{
if (e.KeyData == Keys.Delete)
{
for (int i = listView1.SelectedItems.Count - 1; i >= 0; i--)
{
ListViewItem li = listView1.SelectedItems[i];
listView1.Items.Remove(li);
}
}
}