Я отвечу на свой вопрос в случае, если это пригодится кому-то еще в будущем:
Пугин использует глификон, и у меня не было его загружено в моем проекте, поэтому загрузка и установка могут быть возможное решение. Но в моем случае я использовал fa-icons, чтобы добавить это изменение, просто нужно изменить шаблоны атрибутов множественного выбора, вот пример: просто здесь: class = "fa fa-eraser"
$("#mySelect").multiselect({
nSelectedText: 'Selecciones',
enableHTML: true,
templates: {
filter: '<li class="multiselect-item multiselect-filter"><div class="input-group mb-3"><div class="input-group-prepend"><span class="input-group-text"><i class="fa fa-search"></i></span></div><input class="form-control multiselect-search" type="text" /></div></li>',
filterClearBtn: '<span class="input-group-btn"><button class="btn btn-default multiselect-clear-filter" type="button"><i class="fa fa-eraser"></i></button></span>'
}
});