Осторожно: максимальный размер холста Silverlight составляет 32767 баллов. Это связано с тем, что размер элементов UIElements хранится не в виде числа с плавающей точкой, как в WPF, а в 32-разрядных количествах, из которых 16 бит образуют целое число размера, а 16 бит образуют его плавающую часть. Поэтому убедитесь, что ваш холст не больше этого и не будет.
Решение, которое вам понадобится, чтобы увеличить его, состоит в том, чтобы прокрутить себя и расположить объекты самостоятельно. По сути, вы воссоздаете холст. Это называется виртуализацией в терминах WPF.
Потребление памяти не будет больше в зависимости от размера холста, а зависит только от количества элементов управления и совокупного объема памяти этих элементов управления. Однако, если у вас будет много объектов WPF, фаза макета действительно занимает много времени с большим количеством (скажем, более 1000) объектов. Если это будет проблемой, вам нужно снова написать код и иметь кэш неиспользуемых объектов WPF того же типа (поскольку создание объектов WPF также довольно медленное).