Не имеет значения, какой шаблон вы используете для создания частичного фрагмента для Razor Pages. В обоих случаях вам нужно будет заменить существующий контент и переименовать файл. Частичным является просто один файл Razor, который не имеет директивы @page.
Вы также можете использовать шаблоны ViewStart и View Imports. Можно также использовать шаблон Razor Page, но вам также необходимо удалить сгенерированный файл класса PageModel.
Подробнее о партиалах на страницах Razor см. Здесь: https://www.learnrazorpages.com/razor-pages/partial-pages