Создайте список и добавьте любую кнопку, созданную для вашей панели.
Как только вы захотите очистить его, очистите этот список, но GetCompoenents не вернет все кнопки в игровом объекте Panel, поскольку вы не можете добавить 2Компонент кнопки для одного игрового объекта.
Также добавьте -using UnityEngine.UI- в верхнюю часть вашего скрипта, чтобы его можно было легко прочитать, чтобы он был похож на
foreach (Button b in list)
{
Destroy(b.gameObject);
}