Если вы не знакомы ни с одним из них, лично я нашел документацию и API jQuery более понятными, чем YUI, по крайней мере, для более простых вещей. Также кажется, что в stackoverflow больше информации, связанной с jQuery, чем YUI.
Хотя у YUI есть свои пользователи и сторонники, так что проверьте это на тот случай, если в итоге вы найдете его подходящим для вас. Он имеет огромную библиотеку дополнительных модулей, которые вы можете использовать для сложных веб-приложений.
Мой обычный совет - идти с тем, что вам знакомо, и я говорю это, потому что не думаю, что стоит бросать один, чтобы начать изучать другой с нуля. Но если вам не знакомо ни то, ни другое, вам следует проверить, насколько легко понять документацию для обоих.
PS Я бы не рекомендовал YUI2, если вы начинаете заново, поскольку он был заменен YUI3, который намного лучше разработан.