Использование большого количества файлов JavaScript не должно быть проблемой, так как вы всегда можете объединить их все вместе, чтобы минимизировать HTTP-запросы. Конечно, чтобы выполнить весь этот JavaScript, нужно время браузера. Также есть вероятность, что будут конфликты между всеми этими библиотеками / плагинами JS или внутри DOM.
Что касается выбора правильной библиотеки, то это действительно зависит от того, какой сайт / приложение вы делаете. Если вы просто хотите использовать готовые плагины, то нет большой разницы, какую библиотеку вы используете, и вы должны просто выбрать ту, которая содержит больше плагинов, которые вы хотите использовать, и я уверен, что jQuery - лучший выбор здесь, так как у него больше всего плагинов.
С другой стороны, если вы хотите написать свои собственные компоненты / плагины / код, тогда вы должны протестировать каждый из них и посмотреть, какой из них соответствует вашему стилю кодирования, и спроектировать лучший. Например, некоторое время назад я обнаружил, что Prototype лучше подходит моему вкусу и вполне подходит для больших JS-проектов. Но с тех пор jQuery прошел долгий путь, поэтому я бы попробовал каждую из самых популярных библиотек, если бы мне нужно было создать новый проект.