Другие ответы требуют, чтобы вы передали дополнительную контекстную переменную.Но пока вы можете получить доступ к объекту запроса, в этом нет необходимости:
{% extends request.is_ajax|yesno:"app/base_ajax.html,app/base.html" %}
Я обнаружил, что это гораздо удобнее.