Вы должны удалить его из родительской коллекции Controls, как описано в ответе Дарина Димитрова, а также вызвать Dispose:
panel.Controls.Remove(someControlInstance);
someControlInstance.Dispose();
Вы должны всегда вызывать Dispose для объектов, которые реализуют IDisposable, когда вы закончите с ними, чтобы любые неуправляемые ресурсы, которыми они владеют, немедленно высвобождались.