Я удалил переменную 'i' и изменил их на 0, теперь код работает хорошо, спасибо за помощь
string query = "DELETE FROM PatientRecords WHERE Id=" + dataGridView1.SelectedRows[0].Cells[0].Value.ToString() + "";
SqlCommand delcmd = new SqlCommand(query, connection);
delcmd.ExecuteNonQuery();
dataGridView1.Rows.RemoveAt(dataGridView1.SelectedRows[0].Index);
MessageBox.Show("Selected Save Deleted");