Это действительно зависит от того, какие драгоценные камни вы используете (то есть промежуточное ПО или просто небольшая библиотека). Однако в общем случае больше гемов = больше кода для обработки = больше времени = медленный сайт.
Один совет, который я могу вам предложить, находится в вашем Gemfile, сделайте что-то вроде этого:
gem 'gemname', :require => false
Чтобы не было рельсов, этот камень требуется при запуске. Недостатком, конечно, является то, что вы должны вручную вызывать require 'gemname' всякий раз, когда вы хотите использовать этот драгоценный камень. Это все баланс производительности и простоты использования.