Я хочу, чтобы этот div был только на главной странице, а не на всех страницах
Я предполагаю, что вы имеете в виду, что вы хотите, чтобы этот div имел этот конкретный наборклассов для домашней страницы, а не для других страниц (IOW, для других страниц нормально использовать div без классов или других классов).
Если это так, решение простое: оставьтеdiv, где он есть, но оберните классы div в его собственный блок (со значениями по умолчанию - в конечном итоге пустыми) и переопределите этот блок на домашней странице, то есть:
base.html:
<div class="{% block page-css-class %}{% endblock %}">
{# header #}
{# /header #}
{% block content %}{% endblock %}
{# footer #}
{# footer #}
</div>
и home.html
{% extends "../base.html" %}
{% block page-css-class %}cover-container d-flex h-100 p-3 mx-auto flex-column{% endblock %}
{# your remaining code here #}