Я думаю, вам придется хранить информацию о том, понизился ли сдвиг в переменной.Таким образом, в keydown у вас будет (в псевдокоде):
if(event.keyCode === KEYCODE_SHIFT) shiftDown = true;
, а в keyup наоборот
if(event.keyCode === KEYCODE_SHIFT) shiftDown = false;
, а затем в проверке keyup:
if(event.keyCode === 13 && !shiftDown) {
...
EDIT На самом деле, вы можете просто использовать свойство event.shiftKey
:
if(!event.shiftKey && event.keyCode === 13) {
...