Здесь вы потеряете возвращаемое значение:
display(function(){square(num)})
Вы должны либо вернуть его:
display(function(){ return square(num)})
, либо использовать функцию стрелки
display(() => square(num));
или вы связываете функцию:
display(square.bind(null, num));