При первом согласовании соединения с веб-сайтом наблюдается снижение производительности. Это связано с рукопожатием, которое делает SSL, отправляя информацию туда и обратно. Попробуйте прослушать ваш браузер (HTTP Live Headers), когда вы устанавливаете соединение SSL, чтобы увидеть, сколько всего происходит за кулисами.
На сервере также выполняется вычисление для создания SSL-соединения (оно сильно загружает процессор, как и все операции, связанные с крипто-ключами).