На каком языке вы экспериментируете? Для какой ОС? ncurses, как уже говорилось, является хорошей библиотекой для Unix-подобных систем, но если вы находитесь под окнами ms, я думаю, все будет немного по-другому.
Еще одна вещь, которую нужно иметь в виду, это то, что в зависимости от вашей операционной системы вам, возможно, придется изучить и понять записи termcap или унаследованное наследие DOS.
Для * nix вам нужно проверить некоторую библиотеку графиков, если вы хотите поэкспериментировать с пикселями и т.п. Если вам нужен только обычный интерфейс терминала, ncurses - это отправная точка (пока вы не захотите сделать все вручную с помощью termcap и escape-кодов).
Существует множество платформ для разработки текстового / терминального пользовательского интерфейса, более или менее они дают все, что вам нужно. Но если вы хотите проследить линию от пикселя (1,1) до пикселя (10, 24), я думаю, вам следует сосредоточиться на графических библиотеках. (OpenGL в * nix env легко получить из библиотеки MESA).
На win32, ну, DirectX, но это очень хлопотно.