(display x)
оценивается как недействительный (может рассматриваться как ничто). Это вызов функции, который выводит аргумент, но не возвращает его. Вместо этого вы должны определить квадратную функцию для оценки значения без отображения, то есть:
(define (square x)
(* x x))