Впервые да. После этого, пока файл не изменился, браузер должен его кэшировать, чтобы время загрузки не было очень высоким.
В любом случае, ваш сайт (со всеми его изображениями и файлами javascript) должен загружаться, и это также займет некоторое время в первый раз. Накладные расходы (помимо этого), вызванные внешним размещенным сценарием, не должны быть очень высокими.
Если вы хотите использовать локальную версию, зависит от ваших требований, а также от цели файла js.
jquery.js
можно загрузить и использовать с вашего сервера, но, к примеру, не имеет смысла иметь локальные скрипты Google Analytics.
Примечание. Вы можете увидеть задержку во время разработки, поскольку все другие файлы загружаются из той же (локальной) сети, а скрипты, размещенные в Google, загружаются из Интернета. (Я упоминаю об этом, потому что кто-то в моем предыдущем проекте запаниковал, что "Google работает медленно" во время аналогичного сценария. Мы использовали сценарии Google Anayltics)