Используйте одинарные кавычки для разделения вашей строки: http://coffeescript.org/#strings
Если вы хотите использовать одинарные кавычки в вашей строке, не экранируя их вручную, вы можете использовать 3 одинарные кавычки:
x = '''
my string's ok with single quotes and #{doesn't interpolate}
'''
Тем не менее, это HTML, поэтому двойные кавычки на самом деле чаще встречаются для атрибутов, чем одинарные. Поэтому ваша строка может быть записана как:
tabTemplate = '<li><a href="#{href}">#{label}</a> <span class="ui-icon ui-icon-close">Remove Tab</span></li>'
без проблем.