YUI и прототип полностью разделены и не имеют ничего общего, за исключением того, что оба являются библиотекой JS.
Prototype - это то, что есть, инфраструктура JavaScript, которая делает работу с DOM очень простой. Это зависит от сценария эффектов. Prototype является первой популярной платформой JavaScript, так как ajax стал популярным, IMHO, с тех пор его превзошли jQuery, mootools и многие другие.
YUI также является фреймворком JavaScript, но имеет гораздо больший API и имеет несколько встроенных виджетов (DatePicker, Grid, валидация, ...), что, конечно, также делает его большей библиотекой.
Что мне больше всего нравится в YUI, так это то, что код организован в очень четких пространствах имен.