В документах, которые я сделал с помощью sphinx, для каждой главы и раздела имеются кликабельные значки с постоянными ссылками.
Как поставить этот значок для наставлений? Я думаю, что должен написать расширение, но не знаю, как это сделать.
Нет настроек или расширений для этого. См. Руководство по написанию расширения http://www.sphinx -doc.org / ru / master / extdev / tutorial.html