Вам дан флажок стиль, который содержит только textSize, поэтому он будет влиять на стиль флажка, вы можете сделать 2 вещи:
сначала просто установите текстовый размер программно:
checkBox.setTextSize(TypedValue.COMPLEX_UNIT_SP, 30);
или измените свой стиль следующим образом:
<style name="settingsNotificationCategory" parent="Widget.AppCompat.CompoundButton.CheckBox">
<item name="android:textSize">30sp</item>
</style>
, чтобы наследовать базовый стиль флажка