Сохранение должно быть примерно таким: удаление работает с XPath (найдите элемент Name, в котором содержится предоставленный текст, затем удалите его, сохраните файл снова.)
Это не будет работать, если кто-то с таким же именем введен вне курса ...
Save_Click(object sender, EventArgs e)
{
FileStream fs = new FileStream("leaf.xml",FileMode.Open,FileAccess.Read, FileShare.ReadWrite);
XmlDocument doc = new XmlDocument();
doc.Load(fs);
XmlElement elem = doc.CreateElement("","Name","");
XmlText text = doc.CreateTextNode(textbox1.Text);
elem.AppendChild(text);
doc.RootNode.AppendChild(elem);
doc.Save("leaf.xml");
}