Не думаю, что добавление jQuery повлияет на производительность angular. Конечно, у вас будет увеличенный размер пакета (jQuery, сжатый размер - 30 КБ, я думаю) и дополнительное время для браузера, чтобы проанализировать jQuery lib.
Основная проблема с использованием jquery с angular означает, что jQuery может изменять dom вне зоны angular, что означает, что angular не знает о ваших изменениях. Это может привести к нежелательному побочному эффекту