Вы не должны использовать \textsubscript
в математическом режиме. Как следует из названия, этот макрос предназначен для текста, а не математики.
Кроме того, кажется странным помещать встроенную математику в центр среды. Вместо этого я предлагаю использовать уравнение. Пожалуйста, проверьте ваши скобки, кажется, что-то не хватает ...
\documentclass{article}
\usepackage{mathtools}
\begin{document}
\[
P(k) = P (4) = \rho_{(8, \frac{1}{6})}(4) = \binom{8}{4}{(\frac{1}{6}}^{4}{\frac{5}{6}}^{4} = 2,6
\]
\end{document}