Есть плюсы и минусы для каждого ...
jQueryUI предоставляет вам целый набор инструментов с целым набором опций конфигурации. jQueryUI также дает вам темы, которые можно применять ко всем инструментам. Вам не нужно устанавливать всю библиотеку jQueryUI, чтобы использовать один компонент, поэтому массовая проблема не должна быть проблемой. Тем не менее, я думаю, что со всеми вариантами приходит более крутая кривая обучения.
Отдельные плагины, как правило, являются более законченным решением, ИМХО. Некоторые плагины хорошо написаны, а некоторые беспорядок. Вам придется исследовать каждый из них и тщательно протестировать демоверсии. Возможно, вам придется настроить их и настроить CSS по своему вкусу, но я думаю, что когда вы выбираете качественный плагин, такой как SimpleModal, вы намного ближе к конечному рабочему продукту, чем если бы вы начали с jQueryUI.