How can I avoid this phenomena when loading images into the DOM ?
Есть два основных метода (может быть больше:))
1) Установите фактический размер img <img with='20' height='20' src='...' />
или в стиле CSS.
2) Используйте предварительную загрузку изображения и вставляйте код только при загрузке изображения
var img = new Image();
$(img).load(function(){
$("#myDiv").append($(this))
.append(document.createTextNode("this is my image.");
// or your way, browser should take image from cache
$("#myDiv").append("<img src='/image.png'/> this is my image.");
}).attr('src', '/image.png');
ps: в движке SO есть серьезная проблема - форматирование кода не нужно сочетать с нумерованным списком. Поэтому я удалил список.