Sphinx генерирует файлы LaTeX, а затем использует LaTeX для создания PDF. Так что да, вы можете, но обычно это включает изучение LaTeX и изменение макросов LaTeX. Я сделал быстрый поиск и не смог найти место, где была определена «Глава», так что, вероятно, она определена в стиле заголовка главы Бьярне (по умолчанию), что означает, что вам нужно найти это определение и увидеть переопределите его или создайте новое определение.
Латекс большой , так что сделайте глубокий вдох. Но это определенно возможно. :)