Можно ли использовать HTTP-аутентификацию без всплывающего окна?
Нет.В этом и заключается суть http-аутентификации: вам не нужно реализовывать какое-либо взаимодействие.Поэтому, если вам нужна другая реализация, вы должны сделать это сами.
Это хороший учебник по написанию вашей собственной аутентификации с использованием куки: http://www.codewalkers.com/c/a/Miscellaneous/Writing-a-Basic-Authentication-System-in-PHP/