Вы можете использовать шаблоны в TEMPLATE_DIRS либо для переопределения шаблонов, приходящих из приложений (давая им одно и то же имя), либо для шаблонов, которые актуальны для нескольких приложений (на ум приходит base.html).
Это работает из-за порядка, в котором загрузчики шаблонов установлены в TEMPLATE_LOADERS (файловая система до app_directories).
Хорошая идея - организовать ваши шаблоны следующим образом, чтобы избежать конфликтов имен:
<project>/
<app1>/templates/<app1>/
foo.html
bar.html
<app2>/templates/<app2>/
foo.html
templates/
<app1>/
foo.html
base.html
xyzzy.html