Код header, который вы пытаетесь добавить, должен быть применен к файлу .htaccess, помещенному в папку, где вы хотите, чтобы действие произошло. В вашем случае это скорее всего корень вашего сайта.
Имейте в виду, что я только что столкнулся с проблемой, из-за которой mod_headers.c не включен в моем контейнере. Поэтому, даже если вы поместите приведенный выше код в файл .htaccess, он все равно может не работать.
Мне интересно знать, где вы нашли файл apache2.conf. Я не вижу этого на моем (но это может быть из-за того, что я отвечаю на пользовательский контейнер докера).