Вам нужно использовать escape-символы в кавычках, иначе они нарушают ввод переменной.Экранирование VB.net для цитат - двойная кавычка:
Dim htmltag = "$(""#close"").click(function(){$.notifyBar({ html: ""Click 'close' to hide notify bar"", close: true, delay: 1000000 });});"
В вашем примере компилятор будет видеть строку как:
Dim htmltag = "$("
С большим количеством неизвестных вещей после нее!
В других языках используются различные escape-символы, например, в javascript есть обратная косая черта.