Как уже упоминалось SeventotheSeven, вы не можете использовать HAVING без GROUP BY.
От вашего вопроса, я думаю, вам действительно нужно простое AND:
SELECT * FROM favorites
WHERE personID = 1
AND category = 'Music'
Обратите также внимание, что SQL использует одинарные кавычки вокруг строк, а не двойные.