Похоже, что все, что вам еще нужно сделать, это правильно предотвратить действие по умолчанию для события - return false
сам не делает этого в этой ситуации.
Вам нужно либо передать это возвращаемое значение вверх по цепочке внутри атрибут HTML, используемый для добавления функции-обработчика,
onkeydown="return enterToBr()"
или для предотвращения использования соответствующего метода,
if(keyCode==13){
document.execCommand('insertHTML', false, '<br>');
evt.preventDefault();
}