К какому компоненту вы добавляете KeyListener?Я думаю, что если вы хотите прослушать KeyEvents во всем калькуляторе, вы должны добавить его в контейнер, в котором находятся кнопки.
Но я верю, что только компонент, имеющий фокус, получает KeyEvents, так что я не знаю, может ли контейнер иметь фокус или если события передаются их родителю, если фокус находится на кнопкахкалькулятор.
Вы можете решить эту проблему, добавив keyListener к контейнеру, выполняющему вещи (печать символов и символов), а также к кнопкам и текстовому полю, продвигая событие в свой контейнер