Большинство расширений PHP, которых нет в исходной сборке по умолчанию непосредственно из PHP, находятся в отдельных пакетах apt. Если вы выполните поиск PHP5 в вашем менеджере пакетов, вы увидите такие пакеты, как:
PHP5
PHP5-Mysql
PHP5-cli
PHP5-SQLite
и т.д ..
Я собираюсь предположить, что есть также пакеты специально для php 5.3 - скорее всего, помеченные как php53-*
или что-то подобное. Вам может понадобиться добавить репо для этого, так как я не уверен, что он в репо крор.
В любом случае вам нужно отключить все эти пакеты, которые вам нужно использовать.