Мое простое решение (до того, как узнать о .NET-порте YUI Compressor) было:
copy /b jquery.js+jquery.superfish.js+jquery.qtip.js+NOTICE core.js
java -jar yuicompressor-2.4.2.jar --charset utf-8 -o core-min.js core.js
Это хорошо работает для меня, хотя я не совсем понимаю, почему флаг / b (двоичный) был уловкой, которая избавляла от странных символов. Если кто-то хочет просветить меня в комментарии, я буду признателен.