php4-пакеты доступны в dapper.
Вы можете добавить репозитории dapper в ваш sources.list как раз, когда вам нужно установить php4 :-) (это не очень чисто, но может быть более чисто, чем что-то еще).
(Или вы можете установить настройки источника по пакетам, но я не знаю, как это сделать, я просто знаю, что он существует в Debian, поэтому он должен существовать и в Ubuntu).
PS: простите за мой английский.