Это кажется относительно простым, хотя я, возможно, использую слишком много jQuery:
JQuery:
$(document).ready(
function(){
$('.toggler').each(function(){
$('<span></span>').appendTo($(this));
});
$('.toggler-closed > span').text('▶');
$('.toggler-opened > span').text('▼');
});
CSS:
.toggler span {
float: right;
background-color: #eee;
border-radius: 0.2em;
display: inline-block;
width: 1em;
line-height: 1em;
}