Можно просто использовать LINQ:
var child = (from c in theCanvas.Children
where "someId".Equals(c.Tag)
select c).First();
theCanvas.Children.Remove(child);
Тем не менее, я очень подозреваю, что есть более чистый и эффективный способ добиться того, чего вы пытаетесь достичь.