Вы можете использовать шаблоны блоков для достижения этой цели. Например, в base.html окружите элементы HTML в именованном блоке:
{% block a_unique_name %}<div>This is only relevant in base.html</div>{% endblock %}
HTML-код в блоке будет использоваться только в том случае, если другой шаблон не переопределит его. Вы можете переопределить его в своем под-шаблоне так:
{% extend base.html %}
{% block a_unique_name %}{% endblock %}
Теперь будет использоваться значение из под-шаблона, и оно будет переопределять значение по умолчанию из base.html.