Для этого нужно просто уведомить адаптер набора данных после удаления записи.
Как
YourAdapter.notifyDataSetChanged ();
Ниже кода установите данные в Listview.
Сначала объявите адаптер.
ArrayAdapter<String> adapter;
adapter = new ArrayAdapter<String>(this,android.R.layout.simple_list_item_1,list);
lvlisting.setAdapter(adapter);
Поэтому, когда вы удаляете запись, вы просто должны уведомить адаптер.
adapter.notifyDataSetChanged();