Полагаю, что самый простой способ сделать это - использовать CSS3 border-radius, который поддерживается современными версиями всех веб-браузеров (IE не ниже версии 9).
Если у вас есть этов вашем javascript
$('selector').loupe({
width: 150, // width of magnifier
height: 150, // height of magnifier
loupe: 'loupe' // css class for magnifier
});
Просто поместите это в ваш css:
.loupe {
-webkit-border-radius: 150px;
-moz-border-radius: 150px;
border-radius: 150px;
}
... и все старые версии IE просто покажут квадрат, что, возможно, нормально в вашем случае