Это плохая идея редактировать шаблоны прямо в пакете Sphinx.Лучше переопределить их локально.Как это сделать, описано в Templating .
Чтобы определить, какие файлы вы можете переопределить, также зависит от темы, которую вы настраиваете.Темы Sphinx по умолчанию расположены там, где вы установили пакет Sphinx, например, в виртуальной среде вашего проекта по адресу env/lib/python3.7/site-packages/sphinx/themes/basic
.