Стандартные (подобные VT100) терминалы посылают последовательность символов при нажатии клавиш со стрелками. Вы просто должны следить за тем, нажимаются ли они последовательно или нет. Вот символы, на которые нужно обратить внимание:
Down Arrow 0x1B 0x5B 0x42
Left Arrow 0x1B 0x5B 0x44
Right Arrow 0x1B 0x5B 0x43
Up Arrow 0x1B 0x5B 0x41