К счастью, мне удалось найти ответ на мой вопрос. Решение заключалось в создании пользовательского макета и ссылки на него в моем файле Preferences.xml. Вот как это сломалось:
preferences.xml
<?xml version="1.0" encoding="utf-8"?>
<PreferenceScreen xmlns:android="http://schemas.android.com/apk/res/android"
android:fragment="com.app_name.fragment">
<EditTextPreference
android:id="@+id/key_Edit"
android:clickable="true"
android:inputType="textCapCharacters|textMultiLine"
android:enabled="true"
android:gravity="top"
android:key="pref_phrase"
android:singleLine="true"
android:textAlignment="center"
android:title="@string/preference_key"
android:defaultValue=" "
android:selectAllOnFocus="true"
android:fontFamily="@font/my_font"
android:textColor="@color/colorPrimary"
android:layout="@layout/preference_layout"/>
<EditTextPreference
android:id="@+id/password_Edit"
android:gravity="top"
android:key="pref_password"
android:selectAllOnFocus="true"
android:singleLine="true"
android:textAlignment="center"
android:title="@string/preference_security"
android:defaultValue=" "
android:inputType="number"
android:maxLength="5"
android:fontFamily="@font/my_font"
android:textColor="@color/colorPrimary"
android:layout="@layout/preference_layout"/>
</PreferenceScreen>
preference_layout.xml
<?xml version="1.0" encoding="utf-8"?>
<android.support.constraint.ConstraintLayout
xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="?attr/listPreferredItemHeight"
android:paddingEnd="?attr/listPreferredItemPaddingRight"
android:paddingLeft="?attr/listPreferredItemPaddingLeft"
android:paddingRight="?attr/listPreferredItemPaddingRight"
android:paddingStart="?attr/listPreferredItemPaddingLeft">
<android.support.constraint.ConstraintLayout
android:id="@+id/layout"
android:layout_width="match_parent"
android:layout_height="wrap_content"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintEnd_toEndOf="parent"
app:layout_constraintHorizontal_bias="0.5"
app:layout_constraintStart_toStartOf="parent"
app:layout_constraintTop_toTopOf="parent">
<TextView
android:id="@android:id/title"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:fontFamily="@font/my_font"
android:textAppearance="@style/TextAppearance.AppCompat.Medium"
android:textColor="@color/colorPrimary"
app:layout_constraintEnd_toEndOf="parent"
app:layout_constraintHorizontal_bias="0.5"
app:layout_constraintStart_toStartOf="parent"
app:layout_constraintTop_toTopOf="@id/layout" />
<TextView
android:id="@android:id/summary"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:fontFamily="@font/my_font"
android:textAppearance="@style/TextAppearance.AppCompat.Small"
android:textColor="@color/colorPrimary"
app:layout_constraintEnd_toEndOf="parent"
app:layout_constraintHorizontal_bias="0.5"
app:layout_constraintStart_toStartOf="parent"
app:layout_constraintTop_toBottomOf="@android:id/title"
android:paddingTop="4dp"/>
</android.support.constraint.ConstraintLayout>
</android.support.constraint.ConstraintLayout>
Если вы намереваетесь также изменить шрифт диалога, который раздувается с этими предпочтениями, вам нужно будет создать пользовательскую EditTextPreference и работать со связанным компоновщиком диалогов. Надеюсь, это поможет вам!
EDIT
Если вам удобно использовать styles.xml, EditTextPreferences в конечном итоге наследуют от AlertDialogs при создании и отображении их диалогов. Таким образом, вы можете создать собственную тему для AlertDialogs, в которой вы устанавливаете fontFamily. Таким образом:
<style name="AlertDialogTheme" parent="Theme.AppCompat.Light.Dialog.Alert">
<item name="android:fontFamily">@font/my_font</item>
<item
name="android:textAppearance">@style/TextAppearance.AppCompat.Medium</item>
<item name="android:textStyle">bold</item>
<item name="android:windowNoTitle">true</item>
</style>
Наконец, переопределите стандартную AlertDialogTheme в теме вашего приложения, используя эту пользовательскую AlertDialogTheme.